[논문 리뷰] Visual Compositional Learning for Human-Object Interaction Detection

Zhi Hou, Xiaojiang Peng외 2명|arXiv (Cornell University)|2020. 07. 24.

Multimodal Machine Learning Applications참고 문헌 39인용 수 12

한 줄 요약

이 논문은 인간-물체 상호작용(HOI) 특징을 공유 동사 및 물체 표현으로 분해하고, 특징 공간에서 새로운 HOI 샘플을 조합함으로써 장꼬리 분포 문제를 해결하고 제로샷 및 리드샷 검출 성능을 햖थ기 위한 딥러닝 프레임워크인 시각적 복합 학습(VCL)을 제안한다. VCL은 HICO-DET에서 최신 기술 수준을 달성하였으며, 특히 희귀 및 미사용된 HOI 카테고리에서 이전 방법보다 최대 1.0 mAP 향상되었다.

ABSTRACT

Human-Object interaction (HOI) detection aims to localize and infer relationships between human and objects in an image. It is challenging because an enormous number of possible combinations of objects and verbs types forms a long-tail distribution. We devise a deep Visual Compositional Learning (VCL) framework, which is a simple yet efficient framework to effectively address this problem. VCL first decomposes an HOI representation into object and verb specific features, and then composes new interaction samples in the feature space via stitching the decomposed features. The integration of decomposition and composition enables VCL to share object and verb features among different HOI samples and images, and to generate new interaction samples and new types of HOI, and thus largely alleviates the long-tail distribution problem and benefits low-shot or zero-shot HOI detection. Extensive experiments demonstrate that the proposed VCL can effectively improve the generalization of HOI detection on HICO-DET and V-COCO and outperforms the recent state-of-the-art methods on HICO-DET. Code is available at https://github.com/zhihou7/VCL.

연구 동기 및 목표

• 훈련 예제가 적거나 전혀 없는 많은 동사-물체 쌍이 존재하는 인간-물체 상호작용(HOI) 검출에서 장꼬리 분포 문제를 해결하기 위해.
• 다양한 이미지와 상호작용 간에 동사와 물체의 공유된 분리된 표현을 학습하여 제로샷 및 리드샷 HOI 검출 성능을 향상시키기 위해.
• 시각적 특징 공간에서의 복합 학습을 통해 새로운 HOI 샘플과 새로운 상호작용 유형을 생성할 수 있도록 하기 위해.
• 합성 상자(spatial-human) 감독을 사용하여 동사 표현을 인간 및 물체 특징에서 분리함으로써 모델 일반화 능력을 향상시키기 위해.
• 대규모 HOI 벤치마크에서 기존 최신 기술 수준의 방법들을 능가하는 단순하면서도 효과적인 프레임워크를 개발하기 위해.

제안 방법

• VCL은 동사 및 인간 스트림 간에 공유된 가중치를 가진 다중 브랜치 네트워크를 사용하여 HOI 표현을 별개의 동사 및 물체 특징으로 분해한다.
• 인간과 물체의 유니온 박스에서 동사 표현을 구성함으로써, 인간 박스만을 사용하는 특징보다 상호작용에 특화된 신호를 더 효과적으로 포착한다.
• 다른 이미지와 상호작용 유형의 동사 및 물체 특징을 조합하여 새로운 HOI 샘플을 구성함으로써 제로샷 및 리드샷 일반화를 가능하게 한다.
• 특징 재구성과 복합 학습 간의 균형을 맞추기 위해 하이퍼파ram터 λ₁ 및 λ₂를 포함한 손실 함수를 도입하여 표현의 분리도를 향상시킨다.
• 특히 희귀 클래스에서 성능 향상을 위해 리워팅 및 후처리 전략을 사용하여 기준 검출 성능을 향상시킨다.
• 충분한 복합 학습을 가능하게 하면서 GPU 메모리 부하를 피하기 위해 미니배치당 상호작용 클래스 수를 증가시켜 학습을 최적화한다.

실험 결과

연구 질문

• RQ1 동사 및 물체 특징의 복합 학습이 인간-물체 상호작용 검출에서 제로샷 및 리드샷 일반화 성능을 향상시키는가?
• RQ2 인간과 물체의 유니온 박스를 사용하여 동사 표현을 학습하는 것이 인간 박스만을 사용하는 것보다 검출 성능에 어떤 영향을 미치는가?
• RQ3 장꼬리 분포 문제를 완화하기 위해 어떻게 효과적으로 시각적 특징 공간에서 새로운 HOI 샘플을 조합할 수 있는가?
• RQ4 분리된 동사-물체 및 공간-인간 브랜치의 기여도는 어떻게 볼 수 있으며, 이는 새로운 HOI 카테고리 검출 성능 향상에 어떤 영향을 미치는가?
• RQ5 하이퍼파ram터 λ₁ 및 λ₂는 특징 재구성과 복합 일반화 간의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• VCL은 전체 HICO-DET 테스트 세트에서 19.43 mAP를 달성하여 이전 최신 기술 수준 방법보다 1.0 mAP 향상되었다.
• 미사용 카테고리에서 희귀 상호작용을 우선 선택했을 때 VCL은 7.55 mAP를 기록하였으며, 공간-인간 브랜치보다 3.52% 향상되고 기준 모델보다 4.90% 향상되었다.
• 희귀 상호작용을 우선시할 경우 동사-물체 브랜치만으로도 미사용 mAP가 7.85% 향상되어 강력한 제로샷 일반화 능력을 입증하였다.
• 동사-물체 브랜치와 공간-인간 브랜치를 융합하면 전체 세트 mAP가 16.58로 상승하여 상호보완적인 이점을 보였다.
• 미니배치당 상호작용 클래스 수를 늘림으로써 일반화 성능이 1.0 mAP 향상되었으며(18.43에서 19.43 mAP로), 단일 상호작용당 배치보다 향상되었다.
• 제거 실험을 통해 리워팅 및 후처리 전략이 특히 희귀 클래스에서 기준 성능을 크게 향상시켰음을 확인하였으며(13.62에서 16.87 mAP로), 이는 성능 향상에 기여하였다.