[논문 리뷰] Transferable Interactiveness Prior for Human-Object Interaction Detection.

Yong–Lu Li, Siyuan Zhou외 6명|arXiv (Cornell University)|2018. 11. 20.

Multimodal Machine Learning Applications참고 문헌 27인용 수 37

한 줄 요약

이 논문은 다양한 데이터셋 간의 일반화된 상호작용 패턴을 학습함으로써 인간-물체 상호작용(HOI) 검출 성능을 햖스리기 위해 이동 가능한 상호작용 우선순위를 도입한다. 추론 중 비상호작용을 억제하기 위해 상호작용 네트워크를 사용하며, HICO-DET 및 V-COCO에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Human-Object Interaction (HOI) Detection is an important problem to understand how humans interact with objects. In this paper, we explore extbf{Interactiveness Prior} which indicates whether human and object interact with each other or not. We found that interactiveness prior can be learned across HOI datasets, regardless of HOI category settings. Our core idea is to exploit an Interactiveness Network to learn the general interactiveness prior from multiple HOI datasets and perform Non-Interaction Suppression before HOI classification in inference. On account of the generalization of interactiveness prior, interactiveness network is a transferable knowledge learner and can be cooperated with any HOI detection models to achieve desirable results. We extensively evaluate the proposed method on HICO-DET and V-COCO datasets. Our framework outperforms state-of-the-art HOI detection results by a great margin, verifying its efficacy and flexibility. Source codes and models will be made publicly available.

연구 동기 및 목표

• 다양하고 복잡한 시각적 환경에서 인간-물체 상호작용을 탐지하는 과제를 해결하기 위해.
• 특정 HOI 카테고리에 의존하지 않고 인간과 물체가 상호작용하고 있는지를 포괄적으로 포착하는 일반화된 상호작용 우선순위를 학습하기 위해.
• 이러한 우선순위를 다양한 HOI 데이터셋 및 검출 모델 간에 이동 가능하게 하기 위해.
• 추론 중 비상호작용 인간-물체 쌍을 억제함으로써 HOI 검출 성능을 향상시키기 위해.

제안 방법

• 다양한 HOI 데이터셋에서 상호작용 가능성의 일반 표현을 학습하기 위해 상호작용 네트워크를 훈련한다.
• 학습된 상호작용 우선순위를 사용해 최종 HOI 분류 이전에 비상호작용 인간-물체 쌍을 억제한다.
• 기존의 어떤 HOI 검출 모델과도 플러그인 모듈로 통합할 수 있도록 한다.
• 다중 데이터셋 감독을 활용해 상호작용 우선순위의 일반화 능력을 향상시킨다.
• 예측된 상호작용 점수를 사용해 추론 중 비상호작용을 억제한다.
• 다양한 HOI 검출 아키텍처와 유연하고 호환 가능한 방법을 확보한다.

실험 결과

연구 질문

• RQ1 상호작용 우선순위는 다양한 HOI 데이터셋 간에 효과적으로 학습되고 이동 가능한가?
• RQ2 일반화된 상호작용 우선순위를 학습하면 제로샷 또는 패스트샷 설정에서 HOI 검출 성능이 향상되는가?
• RQ3 상호작용 우선순위는 다양한 HOI 검출 모델 간의 통합 억제 메커니즘으로 사용될 수 있는가?
• RQ4 제안된 방법은 벤치마크 HOI 데이터셋에서 최신 기술 수준의 접근법과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 HICO-DET 및 V-COCO 데이터셋 모두에서 최신 기술 수준의 성능을 달성한다.
• 상호작용 우선순위는 다양한 HOI 데이터셋 간에 잘 일반화되며, 카테고리 설정이 다를 경우에도 성능이 우수하다.
• 상호작용 네트워크는 이동 가능한 지식 학습자 역할을 하여 여러 HOI 검출 모델의 성능을 향상시킨다.
• 학습된 우선순위를 사용한 비상호작용 억제가 가짜 양성(false positives)을 걸러내어 검출 정확도를 크게 향상시킨다.
• 이 방법은 기존의 HOI 검출 프레임워크와 강한 유연성과 호환성을 보인다.
• 소스 코드 및 훈련된 모델은 재현성 및 향후 연구를 지원하기 위해 공개될 예정이다.