[논문 리뷰] Action Units Recognition by Pairwise Deep Architecture

Junya Saito, Ryosuke Kawamura외 6명|arXiv (Cornell University)|2020. 10. 01.

Emotion and Mood Recognition참고 문헌 23인용 수 6

한 줄 요약

이 논문은 동일한 비디오에서 추출한 이미지 쌍을 사용하여 주관 간 일관성 없는 레이블 문제를 해결하기 위해 주관에 의존하지 않는 가짜 강도를 학습하고, 비디오 수준의 변화 특징을 이용해 이를 Action Units (AUs) 레이블로 매핑하는 쌍체 딥 아키텍처를 제안한다. 이 방법은 검증 세트에서 경쟁 지표 점수 0.67을 기록하여 기준점인 0.31보다 뚜렷이 뛰어나다.

ABSTRACT

In this paper, we propose a new automatic Action Units (AUs) recognition method used in a competition, Affective Behavior Analysis in-the-wild (ABAW). Our method tackles a problem of AUs label inconsistency among subjects by using pairwise deep architecture. While the baseline score is 0.31, our method achieved 0.67 in validation dataset of the competition.

연구 동기 및 목표

• 골격 구조나 주름 등 개인의 얼굴 차이로 인해 발생하는 주관 간 AU 레이블 불일치 문제를 해결한다.
• 단일 이미지 기반 AU 인식 모델의 한계를 극복하여 얼굴 외형의 이면 차이를 고려하지 못하는 문제를 해결한다.
• 비디오 전체에서 얼굴 외형의 시간적 변화를 분석함으로써 인간 코더가 AU 강도를 평가하는 방식을 모방하는 방법을 개발한다.
• 비디오 수준의 맥락과 상대적 비교를 활용하여 ABAW 2020 벤치마크에서 AU 인식 성능을 향상시킨다.
• 이중 단계 딥 러닝 파이프라인을 사용하여 ABAW 검증 데이터셋에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 동일한 비디오에서 추출한 이미지 쌍을 사용하여 상호 유사한 쌍체 딥 네트워크를 훈련하여 상대적 AU 강도 순위를 예측한다.
• 마진 t=1을 가진 대비 손실 함수를 사용하여 가짜 강도 순위가 진정된 AU 강도 순위와 일치하도록 보장한다.
• 주관에 의존하지 않는 가짜 강도를 학습하여 얼굴 외형 변화 정도(예: 주름 깊이, 근육 움직임)를 표현한다.
• 가짜 강도에서 비디오 수준의 변화 특징을 추출하며, 이는 강도 범위에 대한 백분위수(0th, 10th, ..., 100th)와 빈도 분포를 포함한다.
• 교차 엔트로피 손실을 사용하여 변형 특징을 AU 발생 여부 또는 강도 레이블로 매핑하기 위해 완전 연결 네트워크(FCN)를 훈련한다.
• 사전 처리 단계에서 프로크루스테스 정렬을 적용하여 이미지 간 얼굴 기하학을 정규화한다.

실험 결과

연구 질문

• RQ1 쌍체 딥 러닝 아키텍처가 AU 인식을 위해 주관에 의존하지 않는 얼굴 외형 변화를 효과적으로 모델링할 수 있는가?
• RQ2 이미지 쌍 간의 상대적 강도 순위 학습이 주관 간 레이블 불일치에 대한 강건성을 향상시키는가?
• RQ3 가짜 강도의 비디오 수준 변화 특징이 단일 프레임 분석을 초월하여 AU 레이블 예측을 향상시키는가?
• RQ4 실제 세계의 AU 인식 벤치마크에서 제안된 방법이 단일 이미지 기반 기준점보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 코더가 AU 강도를 시간적 변화에 기반해 평가한다는 가정이 실제 적용에서 타당하고 효과적인가?

주요 결과

• 제안된 방법은 ABAW 2020 검증 데이터셋에서 경쟁 지표 점수 0.67을 기록하여 기준점인 0.31보다 뚜렷이 뛰어나다.
• 검증 세트에서 평균 F1 점수는 0.39, 총 정확도는 0.95를 기록하여 정밀도와 재현율 모두 뛰어난 성능을 보였다.
• 상대적 순위 손실를 사용한 쌍체 훈련이 주관에 의존하지 않는 가짜 강도를 효과적으로 학습하여 기저의 얼굴 변화 강도를 반영했다.
• 백분위수 및 강도 범위의 빈도 분포를 포함한 비디오 수준의 변화 특징을 기반으로 훈련된 매핑 모델이 시간적 동적 특성을 포착하여 AU 레이블 예측 성능을 향상시켰다.
• 개인의 얼굴 차이(예: 뼈 구조, 영구적인 주름)에 대해 강도 추정을 주관 특유의 외형에서 분리함으로써 강건성을 확보했다.
• 여러 훈련 시도에서 일관된 성능 향상을 보였으며, 검증 성능에 기반해 최고의 결과를 선택하였다.