[논문 리뷰] An End-to-End Network for Generating Social Relationship Graphs

Arushi Goel, Keng Teck외 1명|arXiv (Cornell University)|2019. 03. 23.

Multimodal Machine Learning Applications참고 문헌 27인용 수 7

한 줄 요약

이 논문은 메시지 전달을 통해 노드(사람) 및 엣지(관계) 상태를 반복적으로 업데이트하는 Gated Recurrent Units (GRUs)를 사용하여 이미지에서 구조적인 사회관계 그래프를 생성하는 엔드 투 엔드로 학습 가능한 신경망 SRG-GN을 제안한다. 이 모델은 사회관계 인식에서 최신 기술 성능을 달성하며, PISC 데이터셋에서 71.6%의 mAP를 기록하여 환경 맥락, 특성, 그리고 반복적 메시지 전달을 통합한 효과를 입증한다.

ABSTRACT

Socially-intelligent agents are of growing interest in artificial intelligence. To this end, we need systems that can understand social relationships in diverse social contexts. Inferring the social context in a given visual scene not only involves recognizing objects, but also demands a more in-depth understanding of the relationships and attributes of the people involved. To achieve this, one computational approach for representing human relationships and attributes is to use an explicit knowledge graph, which allows for high-level reasoning. We introduce a novel end-to-end-trainable neural network that is capable of generating a Social Relationship Graph - a structured, unified representation of social relationships and attributes - from a given input image. Our Social Relationship Graph Generation Network (SRG-GN) is the first to use memory cells like Gated Recurrent Units (GRUs) to iteratively update the social relationship states in a graph using scene and attribute context. The neural network exploits the recurrent connections among the GRUs to implement message passing between nodes and edges in the graph, and results in significant improvement over previous methods for social relationship recognition.

연구 동기 및 목표

• 지식 그래프를 활용하여 시각적 장면에서 사회관계의 구조적이고 해석 가능한 표현을 개발하기 위해.
• 객체 검출을 초월한 잠재적 사회적 신호를 포함하여, 시각적 입력에서 고수준 사회적 의미(예: 가족, 친구, 동료)를 추론하는 데 도전하는 데 목적이 있다.
• 통합된 학습 가능한 그래프 생성 프레임워크를 통해 환경 맥락, 인간 특성, 활동 특징을 통합하여 사회관계 인식을 향상시키기 위해.
• 시각 분야에서 사회적 이해를 위한 그래프 신경망에서 반복적 메시지 전달의 효과를 입증하기 위해.

제안 방법

• 모델은 사람의 특성 및 환경 맥락을 포함한 이미지 영역에서 시각적 특징을 추출하기 위해 다중 네트워크 컨volution 신경망(MN-CNN)을 사용한다.
• 두 종류의 Gated Recurrent Units (GRUs)를 활용한다: PPair GRUs는 특성 특징을 사용하여 노드(사람) 상태를 모델링하고, Rship GRUs는 환경 및 활동 특징을 사용하여 엣지(관계) 상태를 모델링한다.
• 메시지 전달은 GRUs 간의 반복 연결을 통해 구현되며, 엣지 상태는 인접한 노드 상태와 이웃한 엣지 상태를 모두 사용하여 업데이트되어 관계 예측의 반복적 정교화를 가능하게 한다.
• 그래프 추론 네트워크(SRG-IN)는 시간 단계를 통한 평균 풀링을 사용하여 메시지 전달 반복 동안의 정보를 집계하여 정확성과 강건성을 향상시킨다.
• 전체 아키텍처는 엔드 투 엔드로 학습 가능하며, 사회관계 그래프 생성(SRGGen)과 사회관계 인식(SRRec)을 동시에 최적화한다.
• 모델은 관계를 해석하는 데 핵심적인 역할을 하는 글로벌 환경 맥락을 주요 입력으로 통합한다.

Figure 1: For a given scene, our network generates a structured representation – a Social Relationship Graph. Graph representations have shown good results on a variety of high-level vision tasks, e.g. image retrieval and visual Q&A.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 단일 이미지 입력으로부터 직접 구조적이고 인간이 이해할 수 있는 사회관계 그래프를 생성할 수 있는가?
• RQ2 환경 맥락과 특성 특징을 통합할 경우, 개별 쌍별 예측과 비교해 사회관계 인식 정확도가 어떻게 향상되는가?
• RQ3 노드와 엣지 간의 반복적 메시지 전달이 그래프 구조적 표현에서 관계 예측에 얼마나 기여하는가?
• RQ4 사회 이해 작업에서 그래프 추론에 최적의 메시지 전달 반복 횟수와 풀링 전략은 무엇인가?

주요 결과

• 제안된 SRG-GN 모델은 사회관계 인식에서 PISC 데이터셋에서 최신 기술 성능인 71.6%의 평균 정밀도(mAP)를 달성하였다. 이는 이전 방법들을 능가한다.
• 모델에서 환경 맥락을 제거하면 성능이 크게 떨어지며, mAP가 69.2%로 하락하여 글로벌 맥락이 사회관계를 해석하는 데 핵심적인 역할을 한다는 점을 입증한다.
• 제거 분석 결과, 시간 단계에 대한 평균 풀링이 최대 풀링(52.16%)보다 더 높은 성능(53.56%)을 기록함으로써 정보 집약 방식이 더 효과적임을 시사한다.
• 메시지 전달 시간 단계 수를 2개 초과로 늘일 경우 성능이 저하되며(평균 풀링 기준 53.56%에서 52.08%로 감소), 너무 많은 반복이 노이즈를 유발함을 나타낸다.
• MN-CNN 모듈만을 갖는 모델은 60.2%의 mAP를 기록하지만, 이는 전체 SRG-GN 모델에 의해 능가되며 그래프 기반 메시지 전달의 가치를 입증한다.
• 정성적 분석 결과, 모델이 이웃한 노드와 엣지의 맥락적 신호를 활용하여 잘못된 예측을 수정함을 확인할 수 있었으며, 예를 들어 쌍별 예측이 실패할 경우 밴드 멤버를 정확히 식별하는 데 성공하였다.

Figure 2: SRG-GN: Our proposed end-to-end network for Social Relationship Graph generation. We take the single body images, $I_{1}$ and $I_{2}$ , and the “context image” (smallest image that contains both single-body images), $I_{c}$ as input to the SN1 and SN2 sub-modules of the MN-CNN module and f