[논문 리뷰] MGpi: A Computational Model of Multiagent Group Perception and Interaction

Navyata Sanghvi, Ryo Yonetani외 1명|arXiv (Cornell University)|2019. 03. 04.

Human Pose and Action Recognition인용 수 5

한 줄 요약

MGpi는 신체 운동과 공간적 근접도를 기반으로 그룹 인식과 상호작용을 모델링하는 Kinesic-Proxemic-Message (KPM) 게이트를 통해 다중 에이전트 사회지능을 가능하게 하는 딥러닝 모델이다. 이 모델은 신체 운동과 공간적 근접도를 이용해 사회적 신호를 무 supervision 방식으로 게이팅한다. 모델은 명시적 그룹 애너테이션, 레이아웃 가정, 수작업으로 설정한 파rameter 없이도 최신 기술 수준의 그룹 식별 성능를 달성하며, 인간의 상호작용 시연를 모방함으로써 사회적 주의를 학습한다.

ABSTRACT

Toward enabling next-generation robots capable of socially intelligent interaction with humans, we present a $\\mathbf{computational\\; model}$ of interactions in a social environment of multiple agents and multiple groups. The Multiagent Group Perception and Interaction (MGpi) network is a deep neural network that predicts the appropriate social action to execute in a group conversation (e.g., speak, listen, respond, leave), taking into account neighbors' observable features (e.g., location of people, gaze orientation, distraction, etc.). A central component of MGpi is the Kinesic-Proxemic-Message (KPM) gate, that performs social signal gating to extract important information from a group conversation. In particular, KPM gate filters incoming social cues from nearby agents by observing their body gestures (kinesics) and spatial behavior (proxemics). The MGpi network and its KPM gate are learned via imitation learning, using demonstrations from our designed $\\mathbf{social\\; interaction\\; simulator}$. Further, we demonstrate the efficacy of the KPM gate as a social attention mechanism, achieving state-of-the-art performance on the task of $\\mathbf{group\\; identification}$ without using explicit group annotations, layout assumptions, or manually chosen parameters.

연구 동기 및 목표

• 다양한 그룹이 존재하는 동적 환경에서 사회적으로 지능적인 행동을 가능하게 하는 다중 에이전트 그룹 인식 및 상호작용의 계산 모델을 개발한다.
• 신체언어와 근접도 기반의 학습 가능한 주의 메커니즘을 활용해 주변 에이전트로부터 관련 신호를 걸러내는 사회적 신호 게이팅 문제를 해결한다.
• 명시적 그룹 애너테이션, 공간적 레이아웃 가정(예: F-형태), 수작업으로 조정된 파rameter에 의존하지 않고도 그룹 식별을 가능하게 한다.
• 사람들의 대화 역동성을 모방하는 맞춤형 사회적 상호작용 시뮬레이터를 사용해 암시적 학습을 통해 모델을 종합적으로 훈련한다.
• 사회적 인식, 특히 그룹 탐지 기능이 사회적으로 적절한 행동 선택을 위한 훈련 과정에서 자연스럽게 유도된다는 것을 입증한다.

제안 방법

• MGpi는 세 가지 핵심 모듈을 갖춘 딥 네트워크이다: KPM 게이트를 사용하는 사회적 신호 게이팅 모듈, 과거 상호작용을 위한 단기기억(STM) 인코더, 행동 예측을 위한 상호작용 정책 모듈.
• KPM 게이트는 주변 에이전트로부터 온 신체 운동(키네식), 공간적 거리(프록세믹), 메시지(언어적 신호) 신호를 통합하여 영향력 여부를 결정한다.
• KPM 게이트는 동적으로 변화하는 이웃 수를 처리하기 위해 풀링 연산을 사용하며, 무 supervision 방식의 데이터 기반 그룹 클러스터링을 가능하게 한다.
• 모델은 그룹 형성에 대한 명시적 지도 없이, 맞춤형 사회적 상호작용 시뮬레이터에서의 시연 데이터를 활용해 암시적 학습 방식으로 훈련된다.
• KPM 게이트는 사회적 주의 메커니즘으로서 학습 가능한 구조를 지니며, 정책 훈련 과정에서 행동 패턴을 기반으로 그룹을 암묵적으로 학습한다.
• 아키텍처는 탈중앙화된 의사결정을 지원하며, 각 에이전트는 인식된 사회적 신호와 단기기억을 바탕으로 행동(예: 말하기, 듣기, 응답, 떠나기)을 선택한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 대화에서 사회적으로 적절한 행동 선택을 위한 훈련을 통해, 명시적 그룹 애너테이션 없이도 사회적 그룹을 암묵적으로 학습할 수 있는가?
• RQ2 KPM 게이트는 다수의 그룹이 존재하는 밀도 높은 환경에서 관련 사회적 신호를 걸러내는 사회적 주의 메커니즘으로서 얼마나 효과적인가?
• RQ3 히우리스틱 레이아웃 가정(예: F-형태)이나 수작업 파rameter에 의존하지 않는 데이터 기반 무 supervision 접근 방식이, 기존 방법보다 우수한 성능을 보일 수 있는가?
• RQ4 대화 행동의 암시적 학습이 얼마나 높은 정도로 사회적 인식, 특히 그룹 식별 기능을 유도하는가?
• RQ5 KPM 게이트는 레이아웃 특화 설정 조정이나 사전 공간 지식 없이 다양한 실제 데이터셋에 일반화될 수 있는가?

주요 결과

• KPM 게이트는 명시적 그룹 애너테이션이나 레이아웃 가정 없이도 세 가지 데이터셋(Synthetic, Coffee Break, Cocktail Party)에서 그룹 식별 성능가 최신 기술 수준을 달성한다.
• Synthetic 데이터셋에서 MGpi는 모든 메트릭에서 모든 SOTA 방법을 압도적으로 앞서며, 뛰어난 일반화 능력과 강건성을 입증한다.
• Coffee Break 데이터셋에서 MGpi는 최고의 정밀도(Precision)를 기록했고, F1 점수에서도 최고 성능을 보인 GCFF와 동일한 성능을 보였다. 이는 정밀도와 재현율의 균형이 뛰어나다는 것을 의미한다.
• Cocktail Party 데이터셋에서 MGpi는 F1 점수에서 GCFF와 GRUPO에 비해 略로 떨어지지만, HVFF-ms에 비해 우수하며, 정밀도는 모든 방법보다 뛰어나고 재현율은 유사한 성능를 보였다.
• KPM 게이트의 훈련 과정은 매우 안정적이며, 런에 따른 표준편차가 낮고, 추론 속도가 매우 빨라 실시간 구동이 가능하다.
• 모델은 그룹 탐지 기능이 사회적 상호작용 정책 훈련 과정에서 암묵적으로 유도된다는 것을 입증하였으며, 이는 암시적 학습이 사회지능에 미치는 영향력을 강력하게 보여준다.