[논문 리뷰] Mining the Benefits of Two-stage and One-stage HOI Detection

Aixi Zhang, Yue Liao외 5명|arXiv (Cornell University)|2021. 08. 11.

Multimodal Machine Learning Applications참고 문헌 38인용 수 35

한 줄 요약

논문은 2단계 및 1단계 HOI 탐지기를 분석하고 Cascade Disentangling Network (CDN)을 제안한다. 이는 인간-사물 쌍의 탐지와 상호작용 분류를 분리하는 1단계 프레임워크로, 특히 희귀 클래스에서 HICO-Det에서 큰 이득을 얻는다.

ABSTRACT

Two-stage methods have dominated Human-Object Interaction (HOI) detection for several years. Recently, one-stage HOI detection methods have become popular. In this paper, we aim to explore the essential pros and cons of two-stage and one-stage methods. With this as the goal, we find that conventional two-stage methods mainly suffer from positioning positive interactive human-object pairs, while one-stage methods are challenging to make an appropriate trade-off on multi-task learning, i.e., object detection, and interaction classification. Therefore, a core problem is how to take the essence and discard the dregs from the conventional two types of methods. To this end, we propose a novel one-stage framework with disentangling human-object detection and interaction classification in a cascade manner. In detail, we first design a human-object pair generator based on a state-of-the-art one-stage HOI detector by removing the interaction classification module or head and then design a relatively isolated interaction classifier to classify each human-object pair. Two cascade decoders in our proposed framework can focus on one specific task, detection or interaction classification. In terms of the specific implementation, we adopt a transformer-based HOI detector as our base model. The newly introduced disentangling paradigm outperforms existing methods by a large margin, with a significant relative mAP gain of 9.32% on HICO-Det. The source codes are available at https://github.com/YueLiao/CDN.

연구 동기 및 목표

• 전통적인 2단계 및 1단계 HOI 탐지기의 강점과 약점을 평가한다.
• 탐지와 상호작용 분류를 해리하는 통합된 엔드투엔드 1단계 프레임워크를 제안한다.
• Cascade disentangling이 HOI 탐지 성능을 개선함을 보인다, 특히 희귀 클래스에서.

제안 방법

• Cascade Disentangling Network(CDN)을 두 개의 cascade 디코더: Human-Object Pair Decoder(HO-PD) 및 Interaction Decoder로 도입한다.
• HO-PD는 인터랙션 헤드를 제거하여 인간-사물 쌍 탐지에 집중하고 HO 예측과 인터랙티브 스코어를 생성한다.
• HO-PD 출력물을 쿼리로 사용하여 Interaction Decoder를 초기화하고 각 HO 쌍에 대한 동작 범주를 예측한다.
• DETR/이전 HOI 연구를 계승한 트랜스포머 기반 탐지기를 기본으로 채택하고 QPIC과 유사한 이분 일치 손실로 훈련한다.
• 학습 중 긴 꼬리 HOI 분포를 완화하기 위해 해리(decoupling) 동적 재가중 스킴을 적용한다.
• 추론 시 HOI 트리플를 정제하기 위해 Pair-wise Non-Maximal Suppression(PNMS)을 사용한다.

실험 결과

연구 질문

• RQ1 하나의 2단계 프레임워크 내에서 cascade로 탐지와 상호작용 분류를 분리하는 것이 전통적인 2단계 HOI 탐지기보다 성능이 더 우수한가?
• RQ2 병렬 다중 태스크 헤드와 달리 cascade가 탐지 대 상호작용 분류를 위한 특징 전문화를 향상시키는가?
• RQ3 제안된 CDN이 표준 HOI 벤치마크(HICO-Det, V-COCO)에서 최첨단 방법과 비교하여 어떻게 수행하며, 특히 희귀 클래스에서 어떤가?
• RQ4 (예: 동적 재가중, PNMS) 같은 어떤 훈련 전략이 HOI 탐지에서 긴 꼬리 문제를 완화하는 데 기여하는가?

주요 결과

• CDN은 HOI 탐지에서 이전 방법을 크게 능가하며 HICO-Det에서 큰 차이를 보인다(예: CDN-B 및 CDN-L이 최상위 결과를 달성).
• CDN-S 베이스는 전체 mAP에서 QPIC보다 6.50% 앞서고 희귀 클래스에서 특히 강한 개선을 보인다(예: 희귀 HOI에서 상대적으로 +23.66%).
• 해리된 cascade(HO-PD은 그 다음 분리된 상호작용 디코딩)은 더 나은 전문화를 가져온다: HO-PD는 탐지 영역에 집중하고 Interaction Decoder는 상호작용 맥락에 주력한다(예: 쥐고 있는 손).
• HICO-Det에서 CDN-S/B/L은 각각 31.44/31.78/32.07 mAP를 달성, QPIC의 29.07과 비교해 큰 이득; V-COCO에서 CDN-B는 64.42 AP_role(시나리오 2) 및 62.29(시나리오 1).
• 동적 재가중 및 PNMS가 추가 성능 향상을 기여하며 PNMS가 CDN-B를 HICO-Det에서 31.78 mAP로 끌어올린다.