[논문 리뷰] A Domain Based Approach to Social Relation Recognition

Qianru Sun, Bernt Schiele외 1명|arXiv (Cornell University)|2017. 04. 21.

Multimodal Machine Learning Applications참고 문헌 33인용 수 9

한 줄 요약

이 논문은 사회심리학의 다섯 가지 영역인 애착, 상호성, 성적 관계, 계층적 권력, 연합 집단을 바탕으로 한 계층적 레이블 공간을 활용하여 도메인 기반 접근 방식을 제안한다. 26,915개의 개인 쌍에 대한 애너테이션을 포함하는 새로운 데이터셋을 구축하고, 의미적 속성 기반 모델이 다른 방법보다 우수한 성능과 해석 가능성으로 인해 심리학 이론과 일치함을 입증한다.

ABSTRACT

Social relations are the foundation of human daily life. Developing techniques to analyze such relations from visual data bears great potential to build machines that better understand us and are capable of interacting with us at a social level. Previous investigations have remained partial due to the overwhelming diversity and complexity of the topic and consequently have only focused on a handful of social relations. In this paper, we argue that the domain-based theory from social psychology is a great starting point to systematically approach this problem. The theory provides coverage of all aspects of social relations and equally is concrete and predictive about the visual attributes and behaviors defining the relations included in each domain. We provide the first dataset built on this holistic conceptualization of social life that is composed of a hierarchical label space of social domains and social relations. We also contribute the first models to recognize such domains and relations and find superior performance for attribute based features. Beyond the encouraging performance of the attribute based approach, we also find interpretable features that are in accordance with the predictions from social psychology literature. Beyond our findings, we believe that our contributions more tightly interleave visual recognition and social psychology theory that has the potential to complement the theoretical work in the area with empirical and data-driven models of social life.

연구 동기 및 목표

• 시각 데이터에서 인간 사회 생활의 모든 측면을 다루는 종합적인 계산 프레임워크를 개발한다.
• 이전 연구가 몇 가지 임시적인 사회 관계 유형에만 집중하는 한계를 보완하기 위해, 통합된 심리학 이론에 기반한 인식 체계를 마련한다.
• 일반화 및 평가를 향상시키기 위해 사회 도메인 및 관계 수준의 애너테이션이 모두 포함된 대규모 계층적 데이터셋을 구축한다.
• 시각적 이미지에서 사회적 도메인과 관계를 인식하는 데 있어 사회심리학에서 유래한 의미적 속성의 효과를 평가한다.
• 이론적 사회심리학과 데이터 기반 시각 인식 간 격차를 해소하기 위해 이론에 부합하는 이해 가능한 모델을 개발한다.

제안 방법

• 사회심리학의 도메인 기반 이론을 바탕으로, 애착, 상호성, 성적 관계, 계층적 권력, 연합 집단의 다섯 가지 도메인으로 사회 관계를 분류하는 개념적 프레임워크로 버질의 이론을 적응 적용한다.
• PIPA 데이터셋에 26,915개의 애너테이션을 추가하여, 사람 쌍에 도메인 수준 및 관계 수준의 레이블을 할당함으로써 계층적 레이블 공간을 구축한다.
• 나이, 성별, 의복, 활동, 신체/머리 외관 등의 속성을 활용하여 심리학적 예측에 기반한 의미적 속성 기반 모델을 설계하고 훈련시킨다.
• 성능 및 해석 가능성 평가를 위해 의미적 속성 기반 모델과 완전히 데이터 기반의 모델(엔드 투 엔드)을 비교 훈련한다.
• 외부 데이터셋에서 사전 훈련된 속성 모델(예: 의복 및 활동)을 가져와 특징 학습 및 일반화 능력을 향상시킨다.
• 제거 실험과 정규화 기여도 분석을 수행하여 각 속성이 도메인 및 관계 분류에 기여하는 상대적 중요도를 평가한다.

실험 결과

연구 질문

• RQ1 사회심리학의 도메인 기반 이론이 시각 데이터에서 사회 관계를 모델링하는 종합적이고 예측 가능한 프레임워크로 기능할 수 있는가?
• RQ2 의미적 속성 기반 모델과 엔드 투 엔드 딥 러닝 모델 간의 성능는 사회 도메인과 관계 인식에서 어떻게 비교되는가?
• RQ3 학습된 시각적 속성이 사회심리학 문헌의 예측과 어느 정도 일치하는가?
• RQ4 사회 도메인과 관계를 분류하는 데 가장 예측력 있는 시각적 속성은 무엇이며, 이들의 기여도는 작업 간에 어떻게 다를까?
• RQ5 도메인 수준의 표현을 학습함으로써 모델이 다양한 사회 관계에 일반화할 수 있는가?

주요 결과

• 의미적 속성 기반 모델이 완전히 데이터 기반 모델보다 사회 도메인과 관계 인식에서 더 뛰어난 성능을 보이며, 이는 이론에 기반한 특징이 더 효과적임을 시사한다.
• 도메인 및 관계 인식에서 기여도가 가장 높은 속성은 활동과 의복이며, 이는 도메인 기반 이론이 사회 집단 내 공유 행동과 외관에 중점을 두고 있음을 뒷받침한다.
• 나이와 성별 속성, 특히 머리 나이와 신체 성별은 중요한 예측 변수로 작용하며, 특히 성적 관계 및 애착 도메인에서 사회심리학 예측을 확인한다.
• 저해상도 또는 배경 가림 등 도전적인 상황에서도 모델의 성능이 안정적이며, 안개진 상태이거나 부분적으로 가려진 쌍에서도 정확한 예측을 내놓는다.
• 부정 예측는 일반적으로 이상한 행동이나 모호한 신호(예: 할머니가 아기를 잡기 위해 기어가는 행동)를 포함하며, 강력한 개별 속성 신호가 존재하더라도 모델을 혼란스럽게 한다.
• 시각적 신호가 모호한 경우, 예를 들어 기자 회견 영상에서 저해상도로 촬영된 이미지에서는 모델이 실패함을 보이며, 제약 조건이 있는 시각 조건에서 더 나은 외관 모델링이 필요함을 시사한다.