[논문 리뷰] Peak-Piloted Deep Network for Facial Expression Recognition

Xiangyun Zhao, Xiaodan Liang외 5명|arXiv (Cornell University)|2016. 07. 24.

Emotion and Mood Recognition참고 문헌 31인용 수 24

한 줄 요약

이 논문은 피크-표현 샘플의 특징 반응을 이용해 비피크-표현 특징을 지도하는 피크-도움 딥 네트워크(PPDN)를 제안한다. 이는 네트워크에 표현 강도 불변성을 통합한다. 새로운 피크 기울기 억제(PGS) 역전파 방법을 통해 PPDN은 Oulu-CASIA 및 CK+ 데이터셋에서 정확도를 향상시켜 최신 기술(SOTA)을 초월하며, Multi-PIE에서 자세 불변 얼굴 인식으로도 효과적으로 일반화된다.

ABSTRACT

Objective functions for training of deep networks for face-related recognition tasks, such as facial expression recognition (FER), usually consider each sample independently. In this work, we present a novel peak-piloted deep network (PPDN) that uses a sample with peak expression (easy sample) to supervise the intermediate feature responses for a sample of non-peak expression (hard sample) of the same type and from the same subject. The expression evolving process from non-peak expression to peak expression can thus be implicitly embedded in the network to achieve the invariance to expression intensities. A special purpose back-propagation procedure, peak gradient suppression (PGS), is proposed for network training. It drives the intermediate-layer feature responses of non-peak expression samples towards those of the corresponding peak expression samples, while avoiding the inverse. This avoids degrading the recognition capability for samples of peak expression due to interference from their non-peak expression counterparts. Extensive comparisons on two popular FER datasets, Oulu-CASIA and CK+, demonstrate the superiority of the PPDN over state-ofthe-art FER methods, as well as the advantages of both the network structure and the optimization strategy. Moreover, it is shown that PPDN is a general architecture, extensible to other tasks by proper definition of peak and non-peak samples. This is validated by experiments that show state-of-the-art performance on pose-invariant face recognition, using the Multi-PIE dataset.

연구 동기 및 목표

• 시각적으로 유사하여 구분하기 어려운 미세하고 낮은 강도의 표정을 인식하는 데 도전하는 것.
• 비피크에서 피크 표정으로의 자연스러운 진화를 모델링하여 표정 강도 변화에 대한 모델의 강건성을 향상시키는 것.
• 비피크 표본에 의한 지도 학습으로 인해 피크-표현 인식 성능이 악화되는 것을 방지하는 학습 전략을 개발하는 것.
• 피크 및 비피크 샘플을 재정의함으로써 다른 인식 작업으로의 프레임워크 일반화를 이루는 것.

제안 방법

• PPDN은 동일한 주체와 표정 유형의 쌍으로 구성된 샘플을 사용한다: 하나의 피크(쉬움)와 하나의 비피크(어려움) 표정.
• 비피크와 피크 표정 샘플의 중간층 특징 맵 간의 L2-노름 차이를 최소화하여 표정 진화를 통합한다.
• 피크 샘플의 기울기를 비피크 특징 최적화 중에 억제하는 새로운 역전파 절차인 피크 기울기 억제(PGS)를 도입한다.
• PGS 기울기는 특징 차이 손실의 전체 기울기의 음수로 유도되며, 이는 내림쪽 방향을 보장하면서 피크 샘플 기울기의 간섭을 방지한다.
• 두 목적을 동시에 최적화한다: 피크-도움 특징 변환(L2 손실)과 표정 인식(교차 엔트로피 손실).
• 아키텍처는 일반화 가능하다: 피크 및 비피크 샘플을 재정의함(예: 정방향 대 비정방향 얼굴)으로써 자세 불변 얼굴 인식으로 확장된다.

실험 결과

연구 질문

• RQ1 비피크에서 피크 표정으로의 표정 진화를 모델링하면 미세하고 낮은 강도의 표정 인식 성능을 향상시킬 수 있는가?
• RQ2 피크-표현 특징이 비피크 특징을 지도함으로써 피크 표정 성능이 떨어지지 않으면서도 표현 강도에 대한 불변성을 향상시킬 수 있는가?
• RQ3 제안된 피크 기울기 억제(PGS) 방법이 피크 샘플 기울기의 부정적 간섭을 피하면서 효과적으로 학습을 이끄는가?
• RQ4 PPDN 프레임워크는 얼굴 표정 인식을 넘어서 다른 인식 작업으로 얼마나 잘 일반화될 수 있는가?

주요 결과

• Oulu-CASIA 및 CK+ 데이터셋에서 PPDN은 얼굴 표정 인식에서 최신 기술(SOTA) 성능을 달성하며, 기존 SOTA 방법을 모두 능가한다.
• Multi-PIE의 '설정 1'에서 자세 불변 얼굴 인식 시, PPDN은 어려운 자세(−45° 및 45°)에서 97.98%의 정확도를 기록했으며, GoogLeNet 기준선(95.99%)을 초월한다.
• '설정 2'에서 Multi-PIE를 통해 PPDN은 평균 83.22%의 정확도를 달성했으며, GoogLeNet 기준선(74.84%)과 모든 4개의 SOTA 기준선을 2.52%포인트 이상 앞서간다.
• PGS 방법은 분석적으로 손실 함수의 내림쪽 방향을 보장하므로 안정적이고 효과적인 학습을 지원한다.
• 프레임워크는 잘 일반화된다: 정면 얼굴을 피크로, 측면 얼굴을 비피크로 간주함으로써 PPDN은 자세 변화에 대한 강건성을 향상시키는 암묵적 변환을 학습한다.
• 실험 결과는 특징 변환과 인식 손실의 공동 최적화가 약한 표정에 대한 분류 능력을 향상시킨다는 것을 확인한다.