[논문 리뷰] Multi-Granularity Reasoning for Social Relation Recognition from Images

Meng Zhang, Xinchen Liu외 4명|arXiv (Cornell University)|2019. 01. 10.

Human Pose and Action Recognition참고 문헌 28인용 수 4

한 줄 요약

이 논문은 시각적-사회적 도메인 간 격차를 해소하기 위해 전경 장면 특징, 중수준의 인물-물체 영역 표현, 그리고 미세한 자세 유도 그래프를 통합하는 다중 분해능 추론(Multi-Granularity Reasoning, MGR) 프레임워크를 제안한다. 자세 인식 기반의 인물-물체 및 인물-자세 그래프를 그래프 컨volution 네트워크(GCN)와 함께 활용함으로써 MGR는 두 개의 공개 데이터셋에서 최신 기술(SOTA) 수준의 성능을 달성하며, 다양한 관계 유형에 걸쳐 뛰어난 정확도와 강건성을 입증한다.

ABSTRACT

Discovering social relations in images can make machines better interpret the behavior of human beings. However, automatically recognizing social relations in images is a challenging task due to the significant gap between the domains of visual content and social relation. Existing studies separately process various features such as faces expressions, body appearance, and contextual objects, thus they cannot comprehensively capture the multi-granularity semantics, such as scenes, regional cues of persons, and interactions among persons and objects. To bridge the domain gap, we propose a Multi-Granularity Reasoning framework for social relation recognition from images. The global knowledge and mid-level details are learned from the whole scene and the regions of persons and objects, respectively. Most importantly, we explore the fine-granularity pose keypoints of persons to discover the interactions among persons and objects. Specifically, the pose-guided Person-Object Graph and Person-Pose Graph are proposed to model the actions from persons to object and the interactions between paired persons, respectively. Based on the graphs, social relation reasoning is performed by graph convolutional networks. Finally, the global features and reasoned knowledge are integrated as a comprehensive representation for social relation recognition. Extensive experiments on two public datasets show the effectiveness of the proposed framework.

연구 동기 및 목표

• 이미지 내 시각적 특징과 의미론적 사회적 관계 사이의 상당한 도메인 격차를 해결한다.
• 기존 방법이 단일 분해능 표현(예: 외관 또는 동시출현만)에 의존하는 데서 비롯하는 한계를 극복한다.
• 전경 장면, 지역적 인물/물체 특징, 그리고 미세한 상호작용을 포함한 다중 분해능 신호를 통합하여 인식 정확도를 향상시킨다.
• 자세 유도 그래프 구조를 사용해 인간-물체 행동과 인간 간 상호작용을 모델링함으로써 더 풍부한 관계 추론을 실현한다.
• 다양한 관계 유형, 특히 애매하거나 자원이 부족한 관계에 대해서도 균일하고 뛰어난 성능을 달성한다.

제안 방법

• 전체 이미지에서 전경 장면 수준의 특징을 추출하기 위해 깊은 CNN(예: ResNet)을 사용한다.
• 물체 검출기를 적용하여 인물을 및 물체를 국소화한 후, 지역적 표현을 위한 CNN를 통해 중수준의 시각적 특징을 추출한다.
• 인간 신체 자세 키포인트를 추출하여 두 가지 새로운 그래프인 인물-물체 그래프(POG)와 인물-자세 그래프(PPG)의 구축을 유도한다.
• 공간적 및 자세 정렬 상호작용 신호를 기반으로 인물과 물체를 연결하여 POG를 구축함으로써 인물에서 물체로의 행동을 모델링한다.
• 쌍체의 인물 간 키포인트 기반 연결을 사용해 상호작용을 캡처하는 PPG를 구축한다.
• 메시지 전달을 통해 표현을 정밀화하기 위해 양 그래프에서 그래프 컨volution 네트워크(GCN)를 사용해 관계 추론을 수행한다.

실험 결과

연구 질문

• RQ1 전경, 지역, 그리고 미세한 분해능의 다중 분해능 시각 표현은 단일 수준의 특징을 넘어서 사회적 관계 인식을 향상시킬 수 있는가?
• RQ2 자세 유도 그래프 모델링은 관계 추론을 위한 의미 있는 인간-물체 및 인간 간 상호작용을 얼마나 효과적으로 캡처하는가?
• RQ3 전경 장면, 지역적 신호, 상호작용 그래프에서 유래한 보완적 특징은 다양한 관계 유형에 걸쳐 인식 성능 향상에 어느 정도 기여하는가?
• RQ4 다양한 분해능을 통합함으로써 애매하거나 희귀한 관계에 대해서도 균일하고 강건한 성능 향상이 이루어지는가?
• RQ5 GCNs를 활용한 그래프 기반 추론은 시각 입력과 의미론적 사회적 관계 사이의 도메인 격차를 효과적으로 해소할 수 있는가?

주요 결과

• MGR 프레임워크는 PISA 및 PIPA 데이터셋 모두에서 최신 기술 수준의 성능을 달성하며, 전체 정확도에서 기존 방법을 능가한다.
• 모든 모듈(전경, POG, PPG, 후기 융합)을 포함한 완전한 MGR 프레임워크가 가장 높은 성능을 기록하여 다중 분해능 특징의 보완적 이점이 입증된다.
• 자세 유도 기반 POG는 자세 유도 없이 구성된 POG보다 뚜렷이 뛰어난 성능을 보이며, 관계 인식에서 행동 인식 기반 모델링의 중요성을 확인한다.
• PPG 모듈은 특히 친구, 가족, 커플과 같은 친밀한 관계에 대해 추론 성능을 향상시킨다.
• 전경 특징는 비친밀한 관계(예: 전문적, 상업적)에 더 효과적이며, 이는 장면 수준의 신호가 이러한 카테고리에 더 관련성이 있음을 시사한다.
• 이 방법은 주의 기반 모델이 부적절한 맥락적 물체에 혼동되는 것과 달리, 모든 관계 유형에 걸쳐 균일한 성능을 보인다.