[논문 리뷰] Detecting Human-Object Interaction via Fabricated Compositional Learning

Zhi Hou, Baosheng Yu외 3명|arXiv (Cornell University)|2021. 03. 15.

Multimodal Machine Learning Applications참고 문헌 63인용 수 7

한 줄 요약

이 논문은 새로운 프레임워크인 합성 조합 학습(Fabricated Compositional Learning, FCL)을 제안한다. FCL은 합성된 물체 특징을 생성하여 새로운 균형 잡힌 HOI(Human-Object Interaction) 샘플을 구성함으로써, 개방형 장긴 꼬리 분포 문제를 해결하고 희귀 및 미사용된 HOI 카테고리에서의 성능을 크게 향상시킨다. 실제 동사 특징과 함께 합성된 물체 특징을 조합함으로써, HICO-DET에서 상태의 기술(SOTA) 성능을 달성하였으며, 특히 제로샷 및 리소스가 부족한 설정에서 뛰어난 성능을 보였다.

ABSTRACT

Human-Object Interaction (HOI) detection, inferring the relationships between human and objects from images/videos, is a fundamental task for high-level scene understanding. However, HOI detection usually suffers from the open long-tailed nature of interactions with objects, while human has extremely powerful compositional perception ability to cognize rare or unseen HOI samples. Inspired by this, we devise a novel HOI compositional learning framework, termed as Fabricated Compositional Learning (FCL), to address the problem of open long-tailed HOI detection. Specifically, we introduce an object fabricator to generate effective object representations, and then combine verbs and fabricated objects to compose new HOI samples. With the proposed object fabricator, we are able to generate large-scale HOI samples for rare and unseen categories to alleviate the open long-tailed issues in HOI detection. Extensive experiments on the most popular HOI detection dataset, HICO-DET, demonstrate the effectiveness of the proposed method for imbalanced HOI detection and significantly improve the state-of-the-art performance on rare and unseen HOI categories. Code is available at https://github.com/zhihou7/HOI-CL.

연구 동기 및 목표

• 훈련 데이터에서 희귀 및 미사용 상호작용이 부족한 개방형 장긴 꼬리 분포 문제를 해결한다.
• 기존의 동사 및 물체 구성 요소에서 인간과 유사한 조합 인식 능력을 활용해 새로운 HOI 샘플을 생성한다.
• 합성된 균형 잡힌 훈련 데이터를 통해 리소스가 부족한 및 제로샷 HOI 탐지의 일반화 능력을 향상시킨다.
• 재샘플링, 재가중 또는 지식 전이에 의존하지만 효과적인 데이터 증강이 없는 기존 방법의 한계를 극복한다.
• 학습 가능한 물체 생성기를 사용해 다양한 고품질의 HOI 샘플을 생성하는 확장성 있고 종단 간 프레임워크를 개발한다.

제안 방법

• 노이즈와 동사 표현에서 시각적 물체 특징을 생성하는 학습 가능한 물체 생성기를 설계하여, 새로운 HOI 샘플의 제어된 조합을 가능하게 한다.
• 실제 동사 특징과 합성된 물체 특징을 조합하여 훈련을 위한 합성 HOI 샘플을 구성한다.
• 다양한 HOI 조합 간의 동사 표현을 정렬하기 위해 보조 동사 정규화 손실을 도입하여 일반화 능력을 향상시킨다.
• 두 단계 훈련 전략을 사용한다. 첫 번째 단계에서는 생성기와 분류기를 함께 최적화하고, 두 번째 단계에서는 단계별 최적화를 통해 희귀 및 미사용 카테고리에서의 성능을 향상시킨다.
• 합성된 물체 특징이 실제 물체 특징과 의미적으로 일치하도록 대비 학습 목표를 활용하여, 일관성을 확보한다.
• 검출기(Faster R-CNN 등)와 분류기를 포함한 두 단계 HOI 탐지 파이프라인을 사용하며, 생성기가 훈련 데이터 분포를 향상시킨다.

실험 결과

연구 질문

• RQ1 합성된 물체 생성이 희귀 및 미사용 상호작용에 대해 개방형 장긴 꼬리 HOI 탐지에서 일반화 능력을 향상시키는가?
• RQ2 합성된 물체 특징을 통해 HOI 샘플을 조합하는 것이 기존의 재가중 또는 재샘플링 전략보다 성능 향상에 더 효과적인가?
• RQ3 제안된 물체 생성기가 HOI 조합을 위한 의미적으로 유의미하고 구분 가능한 물체 표현을 얼마나 잘 생성하는가?
• RQ4 단계별 최적화와 한 번에 최적화하는 방식의 성능은 다양한 HOI 카테고리 유형(rare, non-rare, unseen)에서 어떻게 다를까?
• RQ5 물체 검출의 품질이 합성된 특징이 후속 HOI 탐지에서 얼마나 효과적으로 작용하는지에 어떤 영향을 미치는가?

주요 결과

• FCL은 HICO-DET에서 전체 mAP 24.68을 달성하여 기준 모델의 21.24보다 뚜렷한 향상을 보였다. 특히 희귀 카테고리 탐지에서 두드러진 성능 향상을 보였다.
• 희귀 카테고리 mAP는 기준 모델의 17.44%에서 FCL의 20.03%로 상승하여 리소스가 부족한 학습에서 뚜렷한 성과를 보였다.
• 제로샷 평가에서 FCL은 미사용 카테고리에서 17.64%의 mAP를 기록하여 기준 모델보다 2.05%포인트 높은 성능을 달성했다.
• 단계별 최적화는 한 번에 최적화하는 것보다 희귀 및 비희귀 카테고리에서 더 높은 성능를 보였지만, 미사용 카테고리에서는 약간 낮은 성능를 보였다.
• HICO-DET 데이터에서 물체 검출기를 미세조정하면 FCL의 성능이 향상되었으며, 전체 mAP는 21.80에서 24.68로 상승하여 검출 품질의 중요성을 입증했다.
• 훈련 중에 합성된 특징과 실제 특징 간의 코사인 유사도가 감소하고 안정화됨을 관찰하여, 생성기의 효과적인 정렬과 일반화 능력이 입증되었다.