[논문 리뷰] QPIC: Query-Based Pairwise Human-Object Interaction Detection with Image-Wide Contextual Information

Masato Tamura, Hiroki Ohashi외 1명|arXiv (Cornell University)|2021. 03. 09.

Advanced Neural Network Applications참고 문헌 50인용 수 17

한 줄 요약

QPIC는 자기주의 어텐션을 통해 이미지 전반의 맥락적 특징을 활용하고, 각 HOI 쌍에 전용 쿼리를 사용함으로써 겹치는 인스턴스에서의 특징 오염을 방지하는 쿼리 기반, 트랜스포머 기반의 인간-객체 상호작용(HOI) 검출 방법을 제안한다. 이는 HICO-DET에서 mAP를 5.37 향상시키고 V-COCO에서 5.7 향상시켜 최신 기술 수준을 달성한다.

ABSTRACT

We propose a simple, intuitive yet powerful method for human-object interaction (HOI) detection. HOIs are so diverse in spatial distribution in an image that existing CNN-based methods face the following three major drawbacks; they cannot leverage image-wide features due to CNN's locality, they rely on a manually defined location-of-interest for the feature aggregation, which sometimes does not cover contextually important regions, and they cannot help but mix up the features for multiple HOI instances if they are located closely. To overcome these drawbacks, we propose a transformer-based feature extractor, in which an attention mechanism and query-based detection play key roles. The attention mechanism is effective in aggregating contextually important information image-wide, while the queries, which we design in such a way that each query captures at most one human-object pair, can avoid mixing up the features from multiple instances. This transformer-based feature extractor produces so effective embeddings that the subsequent detection heads may be fairly simple and intuitive. The extensive analysis reveals that the proposed method successfully extracts contextually important features, and thus outperforms existing methods by large margins (5.37 mAP on HICO-DET, and 5.7 mAP on V-COCO). The source codes are available at $\href{https://github.com/hitachi-rd-cv/qpic}{ ext{this https URL}}$.

연구 동기 및 목표

• 국소적 수신 영역을 가진 CNN 기반 HOI 검출기의 한계를 해결하여 전역 맥락을 활용하지 못하는 문제를 해결한다.
• 각 상호작용 쌍에 대해 특징 추출을 분리함으로써 겹치는 HOI 인스턴스에서의 특징 오염 문제를 해결한다.
• 인간/객체가 거리가 먼 경우 또는 바운딩 박스 외부의 맥락적 단서가 누락된 상황에서도 검출의 강건성을 향상시킨다.
• 트랜스포머 기반 아키텍처에서 유래한 맥락 인식 능력이 뛰어난 특징을 활용하여 단순하고 효과적인 검출 헤드를 설계한다.
• 특히 전역적으로 분포된 상호작용에 대해 트랜스포머 디코더가 HOI 검출에 필수적임을 입증한다.

제안 방법

• 자기주의 어텐션을 사용하여 이미지 전반의 특징을 추출하는 비전 트랜스포머 인코더를 활용하여 맥락적으로 관련된 영역을 선택적으로 집계한다.
• 각 쿼리가 최대 하나의 인간-객체 쌍에만 어텐션하도록 인스턴스별 전용 쿼리를 설계하여, 여러 상호작용 간 특징 혼합을 방지한다.
• 학습된 쿼리를 사용한 트랜스포머 디코더를 통해 특징을 정밀화하고 인간, 객체, 동작 예측을 위한 검출 헤드를 생성한다.
• 효율적이고 정확한 상호작용 예측을 위해 쿼리 기반 검출 헤드를 점-매칭 메커니즘과 통합한다.
• 특징 추출을 위해 ResNet-101 백본을 사용하고, 맥락적 특징 학습을 위해 트랜스포머 인코더-디코더 스택을 적용한다.
• 인간, 객체, 동작 분류 및 바운딩 박스 회귀를 위한 교차 엔트로피 손실과 상자 회귀 손실을 사용하여 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 이미지 전역 어텐션을 갖춘 트랜스포머 기반 아키텍처가 인간-객체 바운딩 박스를 초월한 맥락을 포착함으로써 HOI 검출 성능을 향상시킬 수 있는가?
• RQ2 인스턴스별 전용 쿼리를 사용한 쿼리 기반 검출이 겹치는 HOI 인스턴스에서의 특징 오염을 방지할 수 있는가?
• RQ3 표준 CNN 기반 특징 추출기와 비교해 트랜스포머 디코더가 전역적으로 분포된 상호작용을 얼마나 효과적으로 포착하는가?
• RQ4 제안된 방법이 표준 벤치마크에서 기존의 이단계 및 단일 단계 HOI 검출기보다 얼마나 뛰어나게 성능을 높이는가?
• RQ5 핵심 맥락적 단서가 인간-객체 바운딩 박스 외부에 있을 경우 어텐션 메커니즘이 상호작용 검출에 어떤 역할을 하는가?

주요 결과

• QPIC는 HICO-DET에서 29.27 mAP, COCO에서 43.5 mAP를 기록하여 이전 최신 기술 수준의 방법보다 각각 5.37 mAP와 5.7 mAP 향상시켰다.
• 트랜스포머 디코더가 성능에 크게 기여하여, 인코더만을 사용한 변종 대비 mAP를 인코더 포함 시 9.20 향상시키고, 인코더 없이도 7.86 향상시켰다.
• 인코더와 디코더를 모두 갖춘 모델은 HICO-DET에서 HOI 검출에 대해 45.8%의 상대적 향상률을 기록했으며, 객체 검출에 비해 23.9%로 더 높은 전역 맥락에 대한 민감도를 보였다.
• 정성적 분석을 통해 QPIC의 어텐션 맵이 먼 상호작용에서 힌트가 되는 맥락적 단서(예: 먼 곳의软호스)에 집중하는 반면, 불필요한 인간과 같은 간섭 요소는 무시하는 것으로 확인되었다.
• QPIC는 거리가 먼 인간/객체나 특징 오염이 흔한 겹치는 인스턴스와 같은 도전적인 케이스에서도 상호작용을 성공적으로 검출하였다. (예: 중간점 기반 방법이 실패하는 경우)
• 제거 실험 결과, 이미지 전역 어텐션과 쿼리 기반 검출의 조합이 필수적임을 입증하였으며, 둘 중 하나라도 제거할 경우 성능 저하가 심각하게 발생하였다.