[논문 리뷰] Learning Social Relation Traits from Face Images

Zhanpeng Zhang, Ping Luo외 2명|arXiv (Cornell University)|2015. 09. 14.

Face recognition and analysis참고 문헌 39인용 수 27

한 줄 요약

이 논문은 이질적인 데이터셋에서 얼굴 이미지로부터 세부적인 사회적 관계 특성(예: 友好的, 지배적, 따뜻함)을 예측하기 위해 브리징 레이어를 갖춘 딥 시아모닉 유사 모델을 제안한다. 결측 레이블이 있는 데이터를 융합하고 교차 데이터셋 대응 관계를 활용함으로써, 속성 인식 및 관계 예측에서 최신 기술 수준의 성능을 달성하며, 영상 및 이미지 분석 응용 분야에서의 효과성을 입증한다.

ABSTRACT

Social relation defines the association, e.g, warm, friendliness, and dominance, between two or more people. Motivated by psychological studies, we investigate if such fine-grained and high-level relation traits can be characterised and quantified from face images in the wild. To address this challenging problem we propose a deep model that learns a rich face representation to capture gender, expression, head pose, and age-related attributes, and then performs pairwise-face reasoning for relation prediction. To learn from heterogeneous attribute sources, we formulate a new network architecture with a bridging layer to leverage the inherent correspondences among these datasets. It can also cope with missing target attribute labels. Extensive experiments show that our approach is effective for fine-grained social relation learning in images and videos.

연구 동기 및 목표

• 친근함, 지배성, 따뜻함과 같은 고수준 사회적 관계 특성이 얼굴 이미지에서 자동으로 인식될 수 있는지 조사하는 것.
• 레이블가 없는 이질적인 얼굴 특성 데이터셋과 다른 통계적 분포를 가진 데이터셋에서 학습하는 데 도전하는 것.
• 얼굴 부분의 외적 특성 간 암묵적 대응 관계를 활용하여 여러 데이터셋을 브리징 레이어로 통합하는 유일한 딥 아키텍처를 개발하는 것.
• 단일 이미지 분석을 넘어서 쌍체 얼굴 추론을 가능하게 하여 사회적 관계 예측을 수행하는 것.
• 향후 고수준 얼굴 해석 연구를 지원하기 위해 심리학 기반의 관계 특성으로 레이블링된 새로운 데이터셋을 구축하는 것.

제안 방법

• 쌍체의 얼굴을 함께 처리할 수 있도록 설계된 시아모닉 유사 딥 신경망 아키텍처를 도입하여, 관계 추론을 위한 상호적 맥락 학습을 가능하게 한다.
• 얼굴 부분 외형 간 약한 대응 관계를 모델링하여 이질적인 데이터셋 간 특징을 정렬하기 위해 브리징 레이어를 도입한다.
• 각 작업이 얼굴 특성(예: 성별, 표정, 자세, 연령)에 해당하는 다중 작업 학습을 통해 엔드 투 엔드로 모델을 학습하며, 브리징 레이어가 결측 레이블 상황에서도 지식 전이를 가능하게 한다.
• 브리징 레이어는 네트워크의 입력 또는 출력으로 사용될 수 있으며, 입력으로 사용할 경우 성능 향상이 뚜렷하게 관찰된다.
• 원시 이미지 특징을 초월하여 상대적 얼굴 위치와 같은 추가적인 단서를 통합할 수 있도록 프레임워크를 지원한다.
• 심리학적 연구 기반으로 쌍체 관계 특성에 레이블이 부여된 새로운 데이터셋을 구축하여 고수준 사회적 관계 추론 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 친근함, 지배성, 따뜻함과 같은 세부적인 고수준 사회적 관계 특성이 얼굴 이미지만으로 신뢰성 있게 예측될 수 있는가?
• RQ2 레이블 커버리지와 데이터 분포가 다양한 이질적인 얼굴 특성 데이터셋에서 딥 모델이 효과적으로 학습할 수 있는가?
• RQ3 브리징 레이어가 레이블이 누락되거나 부분적으로 손실된 데이터셋 간 특징 정렬 및 인식 성능 향상에 어느 정도 기여하는가?
• RQ4 단일 이미지 분석에 비해 쌍체 얼굴 추론이 사회적 관계 예측 성능을 크게 향상시킬 수 있는가?
• RQ5 모델이 영화나 소셜 미디어와 같은 실제 영상 및 이미지 컬렉션에 잘 일반화되는가?

주요 결과

• 브리징 레이어를 입력으로 사용할 경우, 성별 인식에서 92.8%의 균형 정확도, 자세 인식에서 95.4%의 정확도를 기록하여 기준 모델을 초월한다.
• 도전적인 카글 얼굴 표정 데이터셋에서 75.10%의 정확도를 달성하여 이전 최고 기록인 71.2%를 뛰어넘었다.
• 브리징 레이어는 다양한 데이터셋의 얼굴 샘플을 시각적 패턴 기반으로 일관된 군집으로 묶는 데 성공하여, 효과적인 교차 데이터셋 특징 정렬을 입증한다.
• 관계 예측에서 높은 성능을 달성하여, 아이언맨 영상 세그먼트에서 '친근함'이나 '경쟁적'과 같은 동적 특성을 높은 확률 변화와 함께 정확히 포착하였다.
• 제거 실험을 통해 브리징 레이어가 표정 및 자세 인식 성능 향상에 뚜렷한 기여를 함을 확인하였으며, 특히 레이블이 누락된 경우에 더욱 두드러진다.
• 프레임 간 예측을 부드럽게 하고 미세한 사회적 역학을 탐지함으로써, 실제 응용 분야(예: 영화의 캐릭터 관계 프로파일링)에 잘 일반화됨을 입증하였다.