[논문 리뷰] Pose-aware Multi-level Feature Network for Human Object Interaction Detection

Bo Wan, Desen Zhou외 3명|arXiv (Cornell University)|2019. 09. 18.

Multimodal Machine Learning Applications참고 문헌 32인용 수 20

한 줄 요약

이 논문은 인간의 자세를 활용하여 상호작용, 시각적 객체, 인간의 신체 부위 세 가지 의미 수준에서 주의를 유도하는 자세 인식 다중 수준 특징 네트워크인 PMFNet을 제안한다. 이는 세분화된, 강건하고 해석 가능한 HOI 예측을 가능하게 한다. 모델은 V-COCO 및 HICO-DET 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, V-COCO에서 53.0 mAP를 기록하여 이전 방법들을 크게 앞서며 성능을 뛰어나게 한다.

ABSTRACT

Reasoning human object interactions is a core problem in human-centric scene understanding and detecting such relations poses a unique challenge to vision systems due to large variations in human-object configurations, multiple co-occurring relation instances and subtle visual difference between relation categories. To address those challenges, we propose a multi-level relation detection strategy that utilizes human pose cues to capture global spatial configurations of relations and as an attention mechanism to dynamically zoom into relevant regions at human part level. Specifically, we develop a multi-branch deep network to learn a pose-augmented relation representation at three semantic levels, incorporating interaction context, object features and detailed semantic part cues. As a result, our approach is capable of generating robust predictions on fine-grained human object interactions with interpretable outputs. Extensive experimental evaluations on public benchmarks show that our model outperforms prior methods by a considerable margin, demonstrating its efficacy in handling complex scenes.

연구 동기 및 목표

• 미세한 시각적 차이와 복잡한 공간 구성이 있는 세분화된 인간-객체 상호작용을 탐지하는 데 도전하는 것.
• 인간의 자세를 공간적 및 주의 유도 신호로 통합함으로써 HOI 탐지의 강건성과 해석 가능성 향상.
• '가져다'와 '잡다'와 같은 유사한 관계를 구분하기 위해 근본적인 국소적 특징을 포착하지 못하는 굵은 객체 수준 표현의 한계를 극복하는 것.
• 통합된 딥 네트워크를 사용하여 상호작용, 객체, 인간 신체 부위 세 가지 의미 수준에서 상호작용 추론을 엔드 투 엔드로 학습하는 것.
• 각 상호작용에 대해 관련된 인간 신체 부위를 강조하는 주의 맵을 생성하여 예측을 해석 가능하게 하는 것.

제안 방법

• 네트워크는 백본, 통합, 줌인, 융합 네 가지 모듈을 갖춘 다중 브랜치 딥 네트워크로 구성되어 있으며, 이는 세 가지 의미 수준에서 특징을 처리한다.
• 자세 보강 공간 구성 지도(ScM)는 관건점 기반 공간 레이아웃을 객체 및 인간 마스크 특징에 통합하여 제안 필터링을 향상시킨다.
• 줌인 모듈은 부위 자르기 및 공간 정렬을 적용하여 객체에 대해 상대적인 인간 부위 특징을 추출하고 정규화함으로써 국소적 맥락 표현을 향상시킨다.
• 의미 주의 메커니즘은 자세 레이아웃 기반으로 부위별 주의 점수를 계산하여 각 관계에 관련된 구분 가능한 신체 부위에 집중한다.
• 상호작용 유사도(IA)는 인간과 객체 제안 간의 상호작용 가능성을 평가함으로써 잠재적 오진을 억제한다.
• 융합 모듈은 통합 및 부위 수준 특징을 융합하여 최종 HOI 카테고리 점수를 생성하며, 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 인간의 자세 정보는 미세한 시각적 차이가 있는 세분화된 인간-객체 상호작용 탐지에 도움이 될 수 있는가?
• RQ2 상호작용, 객체, 인간 신체 부위로 구성된 다중 수준 특징 표현은 HOI 탐지의 강건성과 정확도를 어떻게 향상시키는가?
• RQ3 자세 유도 주의 메커니즘은 해석 가능하고 의미 있는 시각적 설명을 생성할 수 있는가?
• RQ4 컴ponent 수준의 분석(예: 부위 자르기, 공간 정렬, 의미 주의)은 전체 성능에 얼마나 기여하는가?
• RQ5 제안된 다중 수준 추론 전략은 다양한 복잡한 시각적 환경에서도 일반화되는가?

주요 결과

• PMFNet은 V-COCO 검증 세트에서 53.0 mAP를 달성하여 이전 최신 기술 수준을 크게 앞서는 성능을 보였다.
• 공간 구성 지도(SCM)는 베이스라인 대비 0.7 mAP 향상 기여하여 공간 추론에서의 가치를 입증하였다.
• 부위 자르기(PC) 구성 요소만으로도 mAP가 49.2에서 49.9로 향상되었으며, 추가 구성 요소를 통합하면 52.4 mAP에 도달하였다.
• 의미 주의(SeAtten) 메커니즘은 'hold'에 대해 손을, 'sit'에 대해 전체 신체를 강조하는 해석 가능한 주의 맵을 제공하였다.
• 단일 구성 요소 제거 실험을 통해 SCM, PC, SpAlign, SeAtten, IA 각각이 최종 성능에 의미 있는 기여를 했다는 것이 확인되었다.
• 정성적 결과는 모델이 작은 또는 잘 보이지 않는 객체를 더 높은 신뢰도로 탐지하고, 인간의 직관과 일치하는 주의 맵을 생성함을 보여주었다.