[논문 리뷰] Detecting and Recognizing Human-Object Interactions

Georgia Gkioxari, Ross Girshick외 2명|arXiv (Cornell University)|2017. 04. 24.

Multimodal Machine Learning Applications참고 문헌 28인용 수 60

한 줄 요약

이 논문은 InteractNet을 소개합니다. 이는 행동-특정 대상 객체 위치를 예측하는 인간 중심 분기(branch)를 갖춘 Faster R-CNN 기반 모델로, 이미지에서 <human, verb, object> 트리플렛을 탐지·인식합니다. V-COCO에서 최첨단 역할 AP를 달성하고, HICO-DET에서도 강력한 결과를 보이며, 엔드-투-엔드 학습이 효율적입니다.

ABSTRACT

To understand the visual world, a machine must not only recognize individual object instances but also how they interact. Humans are often at the center of such interactions and detecting human-object interactions is an important practical and scientific problem. In this paper, we address the task of detecting triplets in challenging everyday photos. We propose a novel model that is driven by a human-centric approach. Our hypothesis is that the appearance of a person -- their pose, clothing, action -- is a powerful cue for localizing the objects they are interacting with. To exploit this cue, our model learns to predict an action-specific density over target object locations based on the appearance of a detected person. Our model also jointly learns to detect people and objects, and by fusing these predictions it efficiently infers interaction triplets in a clean, jointly trained end-to-end system we call InteractNet. We validate our approach on the recently introduced Verbs in COCO (V-COCO) and HICO-DET datasets, where we show quantitatively compelling results.

연구 동기 및 목표

• 실제 세계 이미지에서 <human, verb, object> 트리플렛으로 인간-객체 상호작용 인식을 모티브로 하고 해결합니다.
• 인간의 외모(포즈, 행동)를 활용해 가능성 높은 대상 객체 위치를 예측하고 검색 공간을 축소합니다.
• 표준 객체 탐지와 쌍대 상호작용 추론과 결합된 인간 중심 행동 단서를 엔드-투-엔드 시스템으로 공동 학습합니다.
• V-COCO 및 HICO-DET 데이터셋에서 효과를 보여주고 실용적인 추론 속도를 달성합니다.

제안 방법

• Faster R-CNN에 행동을 분류하고 각 행동별 대상 객체 위치 밀도( density )를 예측하는 인간 중심 분기를 확장합니다.
• 대상 객체 위치를 인간의 외모와 행동에 조건화된 4차원 가우시안 평균 μ_h^a 로 모델링하되, g_h,o^a는 b_o와 μ_h^a를 결합하는 가능도 항입니다.
• 트리플렛 점수 S_h,o^a = s_h · s_o · s_h^a · g_h,o^a 를 계산하고 계단식 추론을 수행해 O(n) 런타임 복잡도를 유지합니다.
• 선택적으로 s_h^a를 인간과 객체의 외모를 결합해 행동 점수를 매기는 상호작용 분기 s_{h,o}^a로 대체할 수 있습니다.
• 객체 탐지, 행동 분류, 대상 로컬리제이션 손실을 포함한 다중 작업 목적 함수로 모든 분기를 공동 학습합니다.
• 추론은 탐지된 각 인간과 행동에 대해 s_o · s_{h,o}^a · g_h,o^a 를 최대화하는 객체를 식별하고, <human, verb, object> 트리플렛을 형성합니다.

실험 결과

연구 질문

• RQ1 인간 중심 단서가 인간의 행동에 관여하는 대상 객체의 로컬라이제이션을 개선하여 트리플렛 탐지 정확도를 높일 수 있는가?
• RQ2 객체 탐지, 행동 분류, 대상 로컬라이제이션을 하나의 엔드-투-엔드 프레임워크에서 공동 학습하면 상호작용 인식 성능이 향상되는가?
• RQ3 제안된 대상 로컬라이제이션 밀도(단일 모드 대 다중 모드)가 다양한 행동의 탐지 정확도에 어떤 영향을 미치는가?
• RQ4 선택적 상호작용 분기가 인간과 객체의 외모 모두를 조건으로 행동 점수에 영향을 주는 경우의 효과는 어떠한가?

주요 결과

모델	AP_agent (19 개의 행동)	AP_agent (모든 행동)	AP_role (19 개의 행동)	AP_role (모든 행동)
baseline [13] (Res50-FPN 재구현)	62.1	?	31.0	?
InteractNet w/o target localization	65.1	?	31.9	?
InteractNet w/o interaction branch	65.5	?	36.8	?
InteractNet (full)	68.0	?	37.5	?

• InterActNet은 V-COCO 테스트에서 모든 행동에 대해 AP_role이 40.0으로, 강력한 기준선(31.8) 대비 절대 향상 8.2포인트를 기록합니다.
• InterActNet은 V-COCO에서 기준선 대비 상대적으로 AP_role을 26% 올려 40.0으로 개선합니다.
• HICO-DET 데이터셋에서 InteractNet은 이전 접근법 대비 약 27%의 상대적 향상을 보였습니다.
• ablation에서 대상 로컬라이제이션이 성능의 핵심 기여도임이 확인되며, 이를 제거하면 AP_role이 37.5에서 31.9로 감소합니다.
• 단일 Nvidia M40 GPU에서 이미지당 약 135 ms로 실행되어 실용적인 효율성을 나타냅니다.
• FPN 백본을 사용하면 일반적인 ResNet-50에 비해 작은 객체에 대해 특히 성능이 크게 향상됩니다.