[논문 리뷰] Revisiting Few-Shot Learning for Facial Expression Recognition

Anca-Nicoleta Ciubotaru, Arnout Devos외 3명|arXiv (Cornell University)|2019. 12. 05.

Machine Learning and ELM참고 문헌 38인용 수 7

한 줄 요약

이 논문은 기존의 소수의 예시 학습(few-shot learning) 방법이 서로 다른 데이터셋에서 오는 기반 클래스와 새로운 클래스를 포함하는 현실적인 교차 도메인 환경에서 얼굴 표정 인식(Facial Expression Recognition, FER)에 대해 재평가한다. 기존의 소수의 예시 모델이 높은 내부 클래스 변동성과 큰 도메인 갭으로 인해 어려움을 겪는 것으로 나타났지만, 모델 용량을 증가시키거나 도메인 갭을 줄이면 성능이 향상되며, RAF-basic에서 미세조정(fine-tuned)한 경우 CK+에서 5-way 5-shot 설정에서 최대 84.90%의 정확도를 기록한다.

ABSTRACT

Most of the existing deep neural nets on automatic facial expression recognition focus on a set of predefined emotion classes, where the amount of training data has the biggest impact on performance. However, in the standard setting over-parameterised neural networks are not amenable for learning from few samples as they can quickly over-fit. In addition, these approaches do not have such a strong generalisation ability to identify a new category, where the data of each category is too limited and significant variations exist in the expression within the same semantic category. We embrace these challenges and formulate the problem as a low-shot learning, where once the base classifier is deployed, it must rapidly adapt to recognise novel classes using a few samples. In this paper, we revisit and compare existing few-shot learning methods for the low-shot facial expression recognition in terms of their generalisation ability via episode-training. In particular, we extend our analysis on the cross-domain generalisation, where training and test tasks are not drawn from the same distribution. We demonstrate the efficacy of low-shot learning methods through extensive experiments.

연구 동기 및 목표

• 대규모 레이블링된 데이터가 부족하고 클래스 분포가 극도로 불균형한 실세계 환경에서 얼굴 표정 인식 문제를 해결하기 위해.
• 기반 클래스와 새로운 클래스가 서로 다른 분포를 가진 데이터셋에서 오는 현실적인 교차 도메인 설정에서 FER를 위한 소수의 예시 학습 방법을 평가하기 위해.
• 소수의 예시 학습 알고리즘의 일반화 능력에 영향을 미치는 내부 클래스 변동성과 도메인 갭의 영향을 조사하기 위해.
• 소수의 예시 학습 모델이 최소한의 훈련 샘플로 새로운 얼굴 표정 카테고리에 효과적으로 일반화할 수 있는 조건을 규명하기 위해.

제안 방법

• 저자들은 소수의 예시 학습 파рад림을 채택하여, 기반 클래스는 miniImageNet에서, 새로운 클래스는 RAF-basic 및 CK+ 데이터셋에서 테스트한다.
• ResNet18을 백본 네트워크로 사용하여, Baseline, Baseline++, ProtoNet, MatchingNet, RelationNet, SubspaceNet의 6가지 메타학습 방법을 평가한다.
• 소수의 예시 추론를 시뮬레이션하기 위해 에피소드 기반 훈련을 사용하며, 각 에피소드는 지원 세트(클래스당 소수의 예시)와 쿼리 세트(미리보지 않은 샘플)로 구성된다.
• 성능 평가를 두 가지 교차 도메인 시나리오인 miniImageNet → RAF-basic 및 miniImageNet → CK+와 좁은 도메인 갭 시나리오인 RAF-basic → CK+에서 실시한다.
• 내부 클래스 변동성을 줄이기 위해, 저자들은 ProtoNet과 SubspaceNet에 특징 평균화를 적용하고, 지원 및 쿼리 임베딩 간의 거리 비교를 위한 메트릭 학습을 사용한다.
• 1-shot 및 5-shot 설정에서 5-way 분류 작업을 수행하고, 여러 랜덤 시드를 기반으로 평균을 내어 실험을 진행한다.

실험 결과

연구 질문

• RQ1 기반 클래스와 다른 도메인에서 오는 새로운 얼굴 표정 클래스에 대해 기존의 소수의 예시 학습 방법은 어떻게 일반화되는가?
• RQ2 새로운 클래스 데이터셋의 내부 클래스 변동성이 소수의 예시 학습 모델의 성능에 어떤 영향을 미치는가?
• RQ3 실세계 얼굴 표정 인식 환경에서 흔히 발생하는 큰 도메인 갭 상황에서도 소수의 예시 학습 모델이 효과적으로 일반화될 수 있는가?
• RQ4 모델 용량을 증가시키거나 도메인 갭을 줄이면 소수의 예시 학습의 일반화 성능이 향상되는가?

주요 결과

• miniImageNet → RAF-basic 교차 도메인 설정에서는 모든 소수의 예시 방법이 성능이 열등하며, SubspaceNet은 1-shot에서 23.93%의 정확도, 5-shot에서 30.95%를 기록하여 큰 도메인 갭 상황에서의 일반화 능력이 떨어지는 것으로 나타났다.
• miniImageNet → CK+ 설정에서는 SubspaceNet이 1-shot에서 40.77%, 5-shot에서 54.61%의 정확도를 기록하여 다른 방법들보다 우수한 성능을 보였으며, 특히 저샷 조건에서 두각을 나타냈다.
• RAF-basic → CK+ 좁은 도메인 갭 시나리오에서는 Baseline++이 5-shot에서 최고의 정확도 85.30%를 기록하여 모든 메타학습 방법을 압도했으며, 이는 도메인 갭이 작은 상황에서는 데이터 증강과 특징 정규화가 메타학습보다 더 효과적임을 시사한다.
• ProtoNet은 miniImageNet → CK+ 5-way 1-shot 설정에서 최고 성능을 기록하며 39.12%의 정확도를 달성했으며, 이는 클래스 프로토타입 평균화로 인해 내부 클래스 변동성이 감소했기 때문으로 보인다.
• MatchingNet은 모든 설정에서 일관되게 열등한 성능을 보였으며, 45% 이하의 정확도를 기록했다. 이는 클래스 내 샘플 간의 관계를 모델링하지 못하고 평균 코사인 거리에 의존하기 때문이다.
• miniImageNet → CK+ 설정의 혼동 행렬을 분석한 결과, 모델들이 유사한 표정인 '공포'(fear)와 '놀람'(surprise)을 구분하는 데 어려움을 겪었으며, 특히 큰 도메인 갭 상황에서 이 문제가 심화되었다.