[논문 리뷰] Dual-Glance Model for Deciphering Social Relationships

Junnan Li, Yongkang Wong외 2명|arXiv (Cornell University)|2017. 08. 02.

Multimodal Machine Learning Applications참고 문헌 35인용 수 7

한 줄 요약

이 논문은 정적 이미지 내 사회적 관계 인식을 위한 이중 시선 모델을 제안하며, 두 단계의 주의 메커니즘을 사용한다: 먼저 대상 인물 쌍에 초점을 맞춰 거친 예측을 하고, 그 다음에 주의 기반 RCNN를 통해 맥락 영역을 활용해 결과를 보완한다. 주요 기여는 76,568개의 애너테이션을 포함한 22,670장의 이미지로 구성된 PISC 데이터셋을 도입한 것으로, 주의 기반 맥락적 추론을 통한 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Since the beginning of early civilizations, social relationships derived from each individual fundamentally form the basis of social structure in our daily life. In the computer vision literature, much progress has been made in scene understanding, such as object detection and scene parsing. Recent research focuses on the relationship between objects based on its functionality and geometrical relations. In this work, we aim to study the problem of social relationship recognition, in still images. We have proposed a dual-glance model for social relationship recognition, where the first glance fixates at the individual pair of interest and the second glance deploys attention mechanism to explore contextual cues. We have also collected a new large scale People in Social Context (PISC) dataset, which comprises of 22,670 images and 76,568 annotated samples from 9 types of social relationship. We provide benchmark results on the PISC dataset, and qualitatively demonstrate the efficacy of the proposed model.

연구 동기 및 목표

• 정적 이미지 내 사회적 관계를 인식하는 데 도전하는 것 — 이는 더 높은 수준의 사회적 장면 이해로 향하는 핵심 단계이다.
• 기존의 시각적 관계 인식의 한계를 극복하기 위해 신체적 외형을 초월한 세밀하고 고수준의 사회적 신호를 모델링하는 것.
• 인간의 시각적 주의를 모방하는 생물학적으로 영감을 얻은 시각 모델을 개발하여 두 가지 다른 시선을 통해 작동하도록 하는 것: 하나는 대상 쌍에 집중하고, 다른 하나는 맥락 영역에 집중한다.
• 향후 사회적 관계 분석 연구를 지원하기 위해 대규모로 공개 가능한 기준 데이터셋을 제공하는 것.
• 국소적 쌍 특징과 전역 맥락적 신호를 통합함으로써 더 정확하고 해석 가능한 사회적 장면 이해를 가능하게 하는 것.

제안 방법

• 이중 시선 아키텍처를 제안한다: 첫 번째 시선은 영역 제안 네트워크(RPN)를 통해 대상 인물 쌍에서 특징을 추출하고, 두 번째 시선은 보완을 위해 맥락 영역에 주의를 기울인다.
• 하나의 대상 쌍에 대해 관련성이 높은 맥락 영역을 동적으로 가중하는 데 주목하는 RCNN을 도입한다. 이는 하향식 및 상향식 주의를 모두 적용한다.
• 다양한 맥락 영역의 특징을 집계하기 위해 시각어워드의 방식을 사용하고, 최대값, 평균, LSE 풀링 기능을 적용한다.
• 중복 제거를 위해 비최대 억제(NMS)를 적용하고, 최적의 성능를 위해 초깃값을 설정한다(제안 영역 수 m=30, 중복 임계값 τu=0.7).
• PISC 데이터셋에서 9개의 사회적 관계 카테고리와 66개의 직업 레이블을 기반으로 교차 엔트로피 손실을 사용해 모델을 엔드 투 엔드로 훈련시킨다.
• 관계 모델 이론을 활용하여 사회적 관계의 계층적 분류 체계를 정의한다. 이는 친밀한 관계(예: 가족, 커플), 비친밀한 관계(예: 전문적, 상업적), 그리고 비관계를 포함한다.

실험 결과

연구 질문

• RQ1 로컬 쌍 특징과 맥락적 신호를 모두 활용할 때, 시각 모델은 정적 이미지 내 사회적 관계를 효과적으로 인식할 수 있는가?
• RQ2 주의 메커니즘이 사회적 관계 인식 성능 향상에 기여하기 위해 관련 맥락 영역을 선택하는 데 미치는 영향은 무엇인가?
• RQ3 다양한 맥락 영역의 특징을 조합할 때, 최대값, 평균, LSE 등의 집계 기능은 어떻게 성능을 보이는가?
• RQ4 이중 시선 메커니즘이 단일 주의 또는 비주목 기반 기준 모델보다 얼마나 뛰어나게 성능을 냈는가?
• RQ5 PISC처럼 대규모로 인간이 애너테이션한 데이터셋은 사회적 장면 이해에서 신뢰할 수 있는 기준 테스트와 일반화를 가능하게 하는가?

주요 결과

• 주목 기반의 이중 시선 모델은 PISC 데이터셋의 6개 관계 서브셋에서 79.7% mAP를 달성하여 비주목 기반 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 주목 기반 LSE 풀링을 사용할 경우 최고의 성능(79.7% mAP)을 기록했으며, 이는 관련 영역을 부드럽게 가중하여 특징을 집계함으로써 추론 정확도가 향상됨을 보여준다.
• 주목 기반 모델은 3개 관계 서브셋에서 76.9% mAP를 기록했고, 주목 기반 없이 사용할 경우 71.7%로, 맥락적 주목이 일관되게 성능 향상을 이끌어냈다.
• 30개의 영역 제안과 0.7의 중복 임계값 설정에서 최적의 성능가 도달했으며, 이는 효과적인 영역 필터링을 의미한다.
• 시각화 결과는 주의 메커니즘이 맥락적으로 관련된 신호에 동적으로 집중하는 것을 보여주었는데, 예를 들어 가족의 경우 TV, 친구의 경우 게임패드, 전문가의 경우 화이트보드 등이다. 이는 모델의 해석 가능성성을 입증한다.
• 강력한 성능에도 불구하고, 일부 경우에 모호한 신호(예: 거리나 옷차림으로 인해 친구를 커플로 잘못 분류)로 인해 관계를 잘못 분류하는 경우가 있었다.