[논문 리뷰] Cross-Domain Facial Expression Recognition: A Unified Evaluation Benchmark and Adversarial Graph Learning

Tianshui Chen, Tao Pu외 4명|arXiv (Cornell University)|2020. 08. 03.

Emotion and Mood Recognition참고 문헌 105인용 수 12

한 줄 요약

이 논문은 교차 도메인 얼굴 표정 인식(CD-FER)을 위한 통합 평가 벤치마크를 제안하고, 그래프 컨volution 네트워크와 적대적 학습을 사용하여 도메인 간 전반적이고 국소적인 특징을 동시에 적응시키는 Adversarial Graph Representation Adaptation(AGRA) 프레임워크를 도입한다. AGRA는 다양한 데이터셋에서 최신 기술 수준의 성능을 달성하여, 해당 벤치마크에서 평균 정확도 기준으로 이전 방법들보다 최대 8.5% 높은 성능을 기록한다.

ABSTRACT

To address the problem of data inconsistencies among different facial expression recognition (FER) datasets, many cross-domain FER methods (CD-FERs) have been extensively devised in recent years. Although each declares to achieve superior performance, fair comparisons are lacking due to the inconsistent choices of the source/target datasets and feature extractors. In this work, we first analyze the performance effect caused by these inconsistent choices, and then re-implement some well-performing CD-FER and recently published domain adaptation algorithms. We ensure that all these algorithms adopt the same source datasets and feature extractors for fair CD-FER evaluations. We find that most of the current leading algorithms use adversarial learning to learn holistic domain-invariant features to mitigate domain shifts. However, these algorithms ignore local features, which are more transferable across different datasets and carry more detailed content for fine-grained adaptation. To address these issues, we integrate graph representation propagation with adversarial learning for cross-domain holistic-local feature co-adaptation by developing a novel adversarial graph representation adaptation (AGRA) framework. Specifically, it first builds two graphs to correlate holistic and local regions within each domain and across different domains, respectively. Then, it extracts holistic-local features from the input image and uses learnable per-class statistical distributions to initialize the corresponding graph nodes. Finally, two stacked graph convolution networks (GCNs) are adopted to propagate holistic-local features within each domain to explore their interaction and across different domains for holistic-local feature co-adaptation. We conduct extensive and fair evaluations on several popular benchmarks and show that the proposed AGRA framework outperforms previous state-of-the-art methods.

연구 동기 및 목표

• 일관되지 않은 데이터셋 및 백본 선택으로 인해 교차 도메인 얼굴 표정 인식(CD-FER) 평가가 공정하고 일관되지 못한 문제를 해결하기 위해.
• 기존 CD-FER 방법들이 도메인 간 더 잘 전이되는 국소적이고 세밀한 특징를 忽시하는 한계를 규명하기 위해.
• 공정한 비교를 위해 표준화된 원천/대상 데이터셋과 특징 추출기로 구성된 통합 평가 벤치마크를 제안하기 위해.
• 그래프 표현 학습과 적대적 훈련을 활용하여 도메인 간 전반적이고 국소적 특징의 공동 적응을 가능하게 하는 새로운 AGRA 프레임워크를 개발하기 위해.

제안 방법

• RAF-DB를 원천으로, CK+, JAFFE, SFEW2.0, FER2013, ExpW를 대상으로 하여 동일한 원천/대상 데이터셋과 ResNet-50 백본을 사용해 최신 기술 수준의 방법들을 재현함으로써 통합 CD-FER 벤치마크를 구축한다.
• 도메인 내 전반적-국소 특징 상관관계를 위한 그래프와 도메인 간 특징 정렬을 위한 그래프를 각각 구축한다.
• 입력 이미지에서 추출한 전반적 및 국소 특징의 학습 가능한 클래스별 통계 분포를 사용해 그래프 노드를 초기화한다.
• 두 개의 스택된 그래프 컨volution 네트워크(GCNs)를 활용한다: 하나는 도메인 내 특징 전파 및 상호작용을 위한 것이고, 다른 하나는 도메인 간 전반적-국소 특징의 공동 적응을 위한 것이다.
• 도메인 간 특징 표현이 불변이 되도록 유도함으로써 도메인 간 이동을 최소화하기 위해 적대적 학습을 통합한다.
• 분류 손실과 적대적 손실을 조합한 다중 작업 손실을 사용하여 특징 학습과 도메인 정렬을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 원천/대상 데이터셋과 특징 추출기의 선택이 CD-FER 평가의 성능과 공정성에 어떤 영향을 미치는가?
• RQ2 현재 최신 기술 수준의 CD-FER 방법들이 도메인 간 더 잘 전이되는 국소적이고 세밀한 특징를 얼마나 효과적으로 활용하지 못하는가?
• RQ3 그래프 기반 메시지 전파를 통해 전반적 및 국소적 특징의 공동 적응을 통해 교차 도메인 얼굴 표정 인식 성능이 향상되는가?
• RQ4 제안된 AGRA 프레임워크는 다양한 데이터셋에서 기존 방법들과 비교해 정확도와 내구성 측면에서 어떻게 성능을 내는가?
• RQ5 표준 FER 파이프라인에 그래프 네트워크를 통합할 경우 계산 비용과 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 AGRA 프레임워크는 다섯 개인 대상 데이터셋(CK+, JAFFE, SFEW2.0, FER2013, ExpW)에서 평균 정확도 66.13%를 달성하여 이전 최신 기술 수준의 방법(ECAN)보다 평균 7.49% 높은 성능을 기록한다.
• CK+ 데이터셋에서 AGRA는 85.27%의 정확도를 기록하여 다음으로 높은 성능을 낸 방법(ECAN, 79.77%)과 기준선(ICID, 74.42%)보다 뚜렷한 향상을 보였다.
• 제거 실험 결과, 적대적 학습을 제거할 경우 평균 정확도가 58.18%로 떨어지며, 이는 도메인 불변 특징 학습에서 적대적 학습의 핵심적 역할을 확인한다.
• 그래프 네트워크 통합으로 인해 추론 시간은 2.54ms, MACs는 0.00295% 증가하여 매우 낮은 계산 오버헤드를 보였다.
• 융합 모듈에서 GCN을 트랜스포머로 대체할 경우 성능이 열 劣화되어, 그래프 기반 메시지 전파가 전반적-국소 특징의 공동 적응에 있어 우월함을 입증한다.
• 통합 벤치마크는 이전 연구에서 일관되지 않은 데이터셋 및 백본 선택이 잘못된 성능 비교를 초래함을 드러내며, 표준화된 평가의 필요성을 강조한다.