[논문 리뷰] From Facial Expression Recognition to Interpersonal Relation Prediction

Zhanpeng Zhang, Ping Luo외 2명|arXiv (Cornell University)|2016. 09. 21.

Emotion and Mood Recognition참고 문헌 75인용 수 16

한 줄 요약

이 논문은 이질적인 데이터셋에서 누락된 레이블을 가진 다중임무 컨볼루션 네트워크를 훈련시켜 얼굴 이미지에서 우호성, 지배성, 따뜻함과 같은 미세한 인간관계 특성—즉, 상호작용 특성—을 예측하는 새로운 시アン식(Siamese) 딥러닝 프레임워크를 제안한다. 이 방법은 마르코프 무작위 필드(Markov Random Fields)를 통한 속성 전파를 활용하여 다양한 데이터 소스를 통합하며, 얼굴 표정 인식과 실제 이미지에서의 정확하고 맥락 인식이 가능한 인간관계 예측에 대해 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Interpersonal relation defines the association, e.g., warm, friendliness, and dominance, between two or more people. Motivated by psychological studies, we investigate if such fine-grained and high-level relation traits can be characterized and quantified from face images in the wild. We address this challenging problem by first studying a deep network architecture for robust recognition of facial expressions. Unlike existing models that typically learn from facial expression labels alone, we devise an effective multitask network that is capable of learning from rich auxiliary attributes such as gender, age, and head pose, beyond just facial expression data. While conventional supervised training requires datasets with complete labels (e.g., all samples must be labeled with gender, age, and expression), we show that this requirement can be relaxed via a novel attribute propagation method. The approach further allows us to leverage the inherent correspondences between heterogeneous attribute sources despite the disparate distributions of different datasets. With the network we demonstrate state-of-the-art results on existing facial expression recognition benchmarks. To predict inter-personal relation, we use the expression recognition network as branches for a Siamese model. Extensive experiments show that our model is capable of mining mutual context of faces for accurate fine-grained interpersonal prediction.

연구 동기 및 목표

• 실세계의 얼굴 이미지에서 친절함, 지배성, 따뜻함과 같은 미세한 인간관계 특성이 예측 가능한지 조사한다.
• 성별, 연령, 자세, 표정 등의 속성 레이블이 누락되거나 불완전한 이질적인 얼굴 데이터셋에서 학습하는 데 도전한다.
• 단일 인물의 표정 인식을 넘어서 상호작용의 고차원적 관계 추론을 위해 쌍방향 얼굴 상호작용을 동시에 모델링하는 딥러닝 프레임워크를 개발한다.
• 다중임무 얼굴 표현 네트워크로 초기화된 이중 구조(Siamese) 아키텍처를 통해 인간관계 예측의 엔드 투 엔드 학습을 가능하게 한다.

제안 방법

• 기존 데이터셋과 웹 이미지 9만 개 이상을 포함하는 새로운 대규모 ExpW 데이터셋을 조합하여, 얼굴 표정, 성별, 연령, 머리 자세를 동시에 인식하는 다중임무 딥 컨볼루션 네트워크를 훈련시킨다.
• 훈련 중에 누락된 속성 레이블을 추론하기 위해 마르코프 무작위 필드(MRFs) 기반의 새로운 속성 전파 방법을 도입하여, 분포가 상이하고 레이블이 불완전한 데이터셋 간의 효과적인 학습을 가능하게 한다.
• 얼굴 표현 네트워크를 이중 구조 유사 아키텍처의 공통 트렁크로 사용하며, 두 개의 얼굴 입력이 공유 가중치를 사용해 병렬 처리되고, 그 특징이 융합되어 공동의 관계 추론을 수행한다.
• 이중 네트워크를 엔드 투 엔드로 훈련시켜 쌍방의 얼굴 이미지에서 여덟 가지 인간관계 특성(예: 友好的, 경쟁적, 지배적 등)을 예측한다.
• 공간적 맥락 정보(예: 상대적 얼굴 위치)를 최종 모델에 통합하여 복잡한 사회적 상호작용에서의 관계 추론 성능을 향상시킨다.
• 객관적인 레이블이 있는 영화 프레임 서브셋에서 프레임워크를 평가하여 실제 환경에서의 강건성과 신뢰성을 입증한다.

실험 결과

연구 질문

• RQ1 텍스트적 또는 맥락적 단서 없이 얼굴 이미지에서 친절함, 지배성, 따뜻함과 같은 인간관계 특성을 정확히 예측할 수 있는가?
• RQ2 누락되거나 일관되지 않은 속성 레이블이 포함된 이질적인 얼굴 데이터셋에서 딥 네트워크를 효과적으로 훈련시킬 수 있는가?
• RQ3 쌍의 두 얼굴를 동시에 모델링하는 것이 단일 얼굴 분석에 비해 고차원적 관계 특성 예측에 얼마나 기여하는가?
• RQ4 MRF를 통한 속성 전파가 통계적 분포와 레이블 완전성에 차이가 나는 데이터셋 간의 도메인 갭을 효과적으로 메울 수 있는가?

주요 결과

• 제안된 S-DCN 모델은 인간관계 예측에 대해 영화 테스트 서브셋에서 균형 정확도 70.20%를 달성하며, 모든 아블레이트된 변형보다 뛰어난 성능을 보였다.
• 공간적 맥락 정보를 포함한 전체 S-DCN 모델이 가장 높은 성능을 기록하여, 공간적 맥락이 관계 추론에 상당한 기여를 한다는 것을 시사한다.
• 표현 레이블로 미리 훈련된 DCN을 사용한 모델가 가장 뛰어난 성능(65.36%)을 기록하여 강력한 얼굴 표현 학습의 중요성을 입증한다.
• 정성적 결과에서는 모델이 친절한 대화나 갈등과 같은 역동적인 사회적 상호작용을 성공적으로 포착하는 것으로 나타났으며, 아이언맨 장면에서 기대되는 특성과 높은 확률 일치를 보였다.
• 거짓 양성 결과는 종종 맥락 정보 부족(예: 진지한 독서 장면을 경쟁적로 오해)으로 인해 발생하여, 다중모odal 맥락 통합의 필요성을 시사한다.
• 모델은 오바마와 그의 딸 사이에 높은 지배성을, 메르켈과 오바마 사이에 높은 경쟁성을 예측하여 실제 사회적 인식과 일치한다.