[논문 리뷰] Human Social Interaction Modeling Using Temporal Deep Networks

Mohamed R. Amer, Behjat Siddiquie외 5명|arXiv (Cornell University)|2015. 05. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 45인용 수 5

한 줄 요약

이 논문은 공동 주의와 공명과 같은 필수 사회적 상호작용 술어(ESIPs)를 계산적으로 모델링하기 위해 새로운 하이브리드 딥러닝 모델인 분류 조건부 제한 버틀먼 막대기(DCRBM)를 제안한다. 49–76%의 정확도로 ESIPs를 동시에 탐지하고, 평균 제곱오차가 0.01–0.1인 저수준 행동 데이터를 생성함으로써, 데이터 기반이며 해석 가능한 방식으로 사회적 유대감의 실용적 행동 구성요소를 드러낸다.

ABSTRACT

We present a novel approach to computational modeling of social interactions based on modeling of essential social interaction predicates (ESIPs) such as joint attention and entrainment. Based on sound social psychological theory and methodology, we collect a new "Tower Game" dataset consisting of audio-visual capture of dyadic interactions labeled with the ESIPs. We expect this dataset to provide a new avenue for research in computational social interaction modeling. We propose a novel joint Discriminative Conditional Restricted Boltzmann Machine (DCRBM) model that combines a discriminative component with the generative power of CRBMs. Such a combination enables us to uncover actionable constituents of the ESIPs in two steps. First, we train the DCRBM model on the labeled data and get accurate (76\%-49\% across various ESIPs) detection of the predicates. Second, we exploit the generative capability of DCRBMs to activate the trained model so as to generate the lower-level data corresponding to the specific ESIP that closely matches the actual training data (with mean square error 0.01-0.1 for generating 100 frames). We are thus able to decompose the ESIPs into their constituent actionable behaviors. Such a purely computational determination of how to establish an ESIP such as engagement is unprecedented.

연구 동기 및 목표

• 공동 주의와 공명과 같은 필수 사회적 상호작용 술어(ESIPs)를 식별하고 모델링할 수 있는 계산적 프레임워크를 개발하는 것.
• 이중 상호작용에서의 실증적 다중모달 데이터를 기반으로 하여 사회심리학과 기계학습을 융합하는 것.
• 공동 분류 및 생성 모델링을 통해 ESIPs를 실용적 행동 구성요소로 분해할 수 있도록 하는 것.
• 컴퓨터 사회적 상호작용 모델링 연구를 위한 새로운 벤치마크 데이터셋인 타워 게임 데이터셋을 구축하는 것.
• 다문화 교육, 인간-로봇 상호작용, 가상현실 등에 응용을 지원하기 위해 현실적인 상호작용 동역학을 모델링하는 것.

제안 방법

• 저자들은 타워 게임 동안 이중 상호작용을 촬영하기 위해 가슴에 부착한 GoPro와 Kinect 센서를 사용하여 새로운 음성-시각 데이터셋을 수집하였으며, ESIPs로 레이블링하였다.
• 저자들은 잠재 표현의 분류 및 생성 모델링을 결합한 새로운 공동 분류 조건부 제한 버틀먼 막대기(DCRBM)를 도입하였다.
• DCRBM는 다중모달 특징(skeleton, 음성, 시선)에서 ESIPs(예: 공명, 모방)를 분류 목표를 사용하여 탐지하도록 훈련된다.
• 탐지 후, 모델은 그 자체의 생성 능력을 활용하여 ESIP 클래스 레이블 조건 하에 저수준 행동 데이터(예: 관절 위치)를 합성한다.
• 생성 능력은 다양한 길이(16–300 프레임)의 생성된 시퀀스와 진짜 데이터 간의 정규화된 평균 제곱오차(NMSE)를 사용하여 평가된다.
• 모델은 두 가지 설정에서 평가되었으며, 부분적인 입력으로부터 누락된 플레이어 데이터를 생성하는 것과, 오직 클래스 레이블만으로도 전체 가시층 데이터를 생성하는 것이다.

실험 결과

연구 질문

• RQ1 공동 주의와 공명과 같은 필수 사회적 상호작용 술어(ESIPs)는 어떻게 다중모달 센서 데이터에서 계산적으로 탐지할 수 있는가?
• RQ2 하이브리드 딥러닝 모델은 ESIPs를 동시에 탐지하고, 훈련 데이터와 유사한 현실적인 저수준 행동 데이터를 생성할 수 있는가?
• RQ3 공명과 모방과 같은 복잡한 사회적 술어의 배경이 되는 실용적 행동 구성요소는 무엇인가?
• RQ4 모델은 다양한 길이의 시퀀스와 서로 다른 강도의 ESIPs에 대해 얼마나 안정적이고 정확한가?
• RQ5 DCRBM 모델은 이중 사회적 상호작용의 의미적 및 시간적 구조를 어느 정도 잘 포착할 수 있는가?

주요 결과

• DCRBM는 다양한 ESIPs에서 49%에서 76%의 탐지 정확도를 달성하여 사회적 상호작용 술어의 효과적인 분류를 입증하였다.
• 생성 오차는 대부분의 ESIPs에서 0.1 이하로 일관되게 낮았으며, 현실적인 행동 시퀀스 생성의 높은 정밀도를 나타내었다.
• 모델은 각 ESIP의 강도 수준에 관계없이 안정적인 성능을 보였으며, 상호작용 강도의 변동에 대한 강건성을 시사하였다.
• 기대한 바와 같이, 시퀀스 길이가 길어질수록 생성 오차가 증가하였으며, 이는 더 긴 기간 동안의 진짜 데이터에서 변동성이 더 크기 때문이다.
• 모델는 오직 클래스 레이블만으로도 전체 가시층 데이터(양 플레이어)를 낮은 오차로 생성하여, 복잡한 사회적 동역학에 대한 생성 능력을 입증하였다.
• 이 프레임워크는 ESIPs를 실용적 행동 구성요소로 순수 계산적으로 분해할 수 있도록 하였으며, 이는 이전에 계산 사회과학 분야에서 관찰되지 않은 능력이다.