[논문 리뷰] Graph-based Facial Affect Analysis: A Review of Methods, Applications and Challenges.

Yang Liu, Xingming Zhang외 4명|arXiv (Cornell University)|2021. 03. 29.

Emotion and Mood Recognition참고 문헌 179인용 수 4

한 줄 요약

이 논문은 그래프 기반 얼굴 정서 분석(FAA)에 대한 최초의 종합적 서베이를 제시하며, 정서 인식 성능을 향상시키기 위해 얼굴 구성 요소 간의 의미적 관계를 그래프 구조로 모델링하는 프레임워크를 제안한다. 그래프 구축 방법, 기존 및 딥러닝 모델(특히 그래프 신경망)을 통한 관계 추론, 최신 기법들의 벤치마크를 검토하며 분야 내 성능 햖스 및 열려 있는 과제를 강조한다.

ABSTRACT

Facial affect analysis (FAA) using visual signals is important in human-computer interaction. Early methods focus on extracting appearance and geometry features associated with human affects, while ignoring the latent semantic information among individual facial changes, leading to limited performance and generalization. Recent work attempts to establish a graph-based representation to model these semantic relationships and develop frameworks to leverage them for various FAA tasks. In this paper, we provide a comprehensive review of graph-based FAA, including the evolution of algorithms and their applications. First, the FAA background knowledge is introduced, especially on the role of the graph. We then discuss approaches that are widely used for graph-based affective representation in literature and show a trend towards graph construction. For the relational reasoning in graph-based FAA, existing studies are categorized according to their usage of traditional methods or deep models, with a special emphasis on the latest graph neural networks. Performance comparisons of the state-of-the-art graph-based FAA methods are also summarized. Finally, we discuss the challenges and potential directions. As far as we know, this is the first survey of graph-based FAA methods. Our findings can serve as a reference for future research in this field.

연구 동기 및 목표

• 기존의 특징 추출 방법에 한계가 있음을 고려하여 그래프 기반 접근법이 얼굴 정서 분석(Facial Affect Analysis, FAA)에 어떻게 체계적으로 검토될 수 있는지 제시하기 위해.
• 얼굴 구성 요소 간의 의미적 관계를 모델링하기 위한 그래프 구축 기법의 발전을 분석하기 위해.
• 기존 모델과 딥러닝, 특히 그래프 신경망(GNN)에 중점을 두어 관계 추론 방법을 분류하고 평가하기 위해.
• 최신 그래프 기반 FAA 기법의 성능 비교를 요약하고 주요 추세를 파악하기 위해.
• 일반화 및 성능 향상을 위한 그래프 기반 FAA의 열려 있는 과제와 향후 연구 방향을 제시하기 위해.

제안 방법

• 논문은 알고리즘 개발, 그래프 구축, 관계 추론를 포함한 그래프 기반 FAA 기법을 분석하기 위해 체계적인 문헌 리뷰 방법론을 활용한다.
• 얼굴 키포인트 위치, 의미적 얼굴 영역, 또는 학습된 표현 기반으로 그래프 구축 접근법을 분류하여 얼굴의 동적 변화를 모델링한다.
• 관계 추론은 두 가지 범주로 검토된다: 기존 방법(예: 그래프 매칭, 커널 방법)과 딥러닝 모델, 특히 그래프 신경망(GNN)이다.
• 표준 벤치마크를 사용하여 최신 기법의 성능을 평가하고, 데이터셋 및 작업 유형 간 성능을 비교한다.
• 핵심 구성 요소로는 그래프 컬러이션 네트워크(GCNs), 그래프 어텐션 네트워크(GATs), 그리고 얼굴 그래프 내에서 특징 전파를 위한 메시지 전달 메커니즘이 포함된다.
• 이 프레임워크는 외관과 기하학적 특성 외에도 얼굴 변화 간 잠재적 의미적 관계를 모델링하여 정서 인식 성능을 향상시키는 데 중점을 둔다.

실험 결과

연구 질문

• RQ1 기존의 외관 및 기하학 기반 방법의 한계를 해결하기 위해 그래프 기반 표현은 얼굴 정서 분석에서 어떻게 진화해 왔는가?
• RQ2 얼굴 데이터에서 그래프를 구축하기 위한 주요 접근법은 무엇이며, 정서 인식 성능에 어떤 영향을 미치는가?
• RQ3 그래프 기반 FAA 프레임워크에서 기존 방법과 딥러닝 기반 관계 추론 방법 간의 성능 비교는 어떻게 이루어지는가?
• RQ4 최신 그래프 기반 FAA 모델은 비그래프 기반 기준 모델 대비 어떤 주요 성능 향상을 달성하고 있는가?
• RQ5 그래프 기반 FAA에서 여전히 남아 있는 주요 과제는 무엇이며, 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 그래프 기반 FAA 기법은 외관 및 기하학 기반 접근법보다 뚜렷한 성능 향상을 보이며, 얼굴 구성 요소 간 잠재적 의미적 관계를 모델링함으로써 성능을 향상시킨다.
• 학습된 그래프 구축 방식으로의 명확한 추세가 관찰되며, 어텐션 메커니즘과 학습 가능한 임베딩이 그래프 표현 품질을 향상시킨다.
• 특히 GCN과 GAT을 포함한 그래프 신경망(GNN)은 FAA에서 관계 추론을 위한 주요 아키텍처로 자리 잡았으며, 효과적인 특징 전파 및 집계를 가능하게 한다.
• 성능 비교 결과, 다양한 벤치마크 데이터셋에서 그래프 기반 프레임워크를 사용할 경우 정서 인식 정확도가 일관되게 향상됨을 확인할 수 있다.
• 진전이 있었음에도 불구하고 일반화 능력 향상, 학습된 그래프의 해석 가능성, 조명, 자세, 가림 등의 변화에 대한 강인성 향상 등 여전히 해결해야 할 과제가 남아 있다.