[논문 리뷰] Category Query Learning for Human-Object Interaction Classification

Chi Xie, Fangao Zeng외 3명|arXiv (Cornell University)|2023. 03. 24.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 인간-객체 상호작용(HOI) 분류를 위한 새로운 방법인 카테고리 쿼리 학습(CQL)을 제안한다. 기존의 정적 카테고리 가중치 벡터를 대체하여 학습 가능한, 카테고리별로 특화된 쿼리로 대체한다. 이러한 쿼리는 이미지 수준의 분류 헤드를 통해 최적화되며, 상호작용 카테고리를 적응적으로 표현하여, 최소한의 계산 오버헤드로도 HICO-DET에서 최고 성능을 기록한다(36.03 mAP).

ABSTRACT

Unlike most previous HOI methods that focus on learning better human-object features, we propose a novel and complementary approach called category query learning. Such queries are explicitly associated to interaction categories, converted to image specific category representation via a transformer decoder, and learnt via an auxiliary image-level classification task. This idea is motivated by an earlier multi-label image classification method, but is for the first time applied for the challenging human-object interaction classification task. Our method is simple, general and effective. It is validated on three representative HOI baselines and achieves new state-of-the-art results on two benchmarks.

연구 동기 및 목표

• 상호작용 카테고리 간 복잡한 외관 변화를 모델링하지 못하는 정적 카테고리 가중치 벡터의 한계를 해결하기 위해.
• 각 상호작용 카테고리에 대해 동적이고 이미지에 적응하는 표현을 학습하여 상호작용 분류 성능을 향상시키기 위해.
• 기존 HOI 프레임워크에 큰 아키텍처 변경 없이도 간편하고 일반적이며 효과적인 방법을 도입하기 위해.
• 특히 다수의 인간-객체 상호작용이 존재하는 장면에서 이미지 수준의 카테고리 쿼리 학습의 효과를 검증하기 위해.

제안 방법

• 특정 상호작용 카테고리와 명시적으로 연관된 카테고리 쿼리를 도입하고, 보조적인 이미지 수준의 분류 작업을 통해 훈련한다.
• 트랜스포머 디코더를 사용하여 카테고리 쿼리를 이미지에 특화된 카테고리 표현으로 변환함으로써, 상호작용 의미를 적응적으로 모델링할 수 있도록 한다.
• 기존 선형 분류기의 정적 가중치 벡터를 이러한 학습 가능한 쿼리로 대체하되, 동일한 추론 메커니즘을 유지한다.
• 이 방법은 경량이며 일반적이며, 인간-객체 특징을 출력하는 어떤 표준 HOI 모델과도 호환된다.
• 쿼리는 카테고리별로 특화되어 있으며, 다른 HOI 트랜스포머에서 사용하는 인스턴스 수준의 쿼리와는 다릅니다. 이는 전반적인 이미지 수준의 의미를 중시합니다.
• 훈련 과정에서는 HOI 검출과 이미지 수준의 카테고리 분류를 함께 최적화하여, 카테고리 표현 학습의 안정성과 지도력을 높인다.

실험 결과

연구 질문

• RQ1 정적 가중치 벡터에 비해 학습 가능한 카테고리별 쿼리가 HOI 검출에서 상호작용 분류 성능을 향상시키는가?
• RQ2 이미지 수준의 카테고리 쿼리 학습이 특히 복잡하거나 다수의 상호작용이 존재하는 장면에서 더 나은 일반화 성능을 제공하는가?
• RQ3 다양한 벤치마크에서 기존의 HOI 베이스라인과 비교했을 때, 제안된 방법의 성능 및 내구성은 어떠한가?
• RQ4 상호작용 밀도가 높은 이미지에서 제안된 방법의 성능 향상이 더 두드러지는가?
• RQ5 아키텍처의 대대적인 수정 없이도 다양한 HOI 프레임워크에 효과적으로 통합될 수 있는가?

주요 결과

• 제안된 방법은 HICO-DET 벤치마크에서 기존 최고 성능을 갱신하여 36.03 mAP의 새로운 최고 성능을 달성한다.
• 이 방법은 테스트된 세 가지 베이스라인 모델—두 개의 트랜스포머 기반 모델과 하나의 이단계 모델—모두에서 모든 평가 설정에서 일관되게 성능 향상을 보였다.
• 상호작용 밀도가 높을수록 상대적 성능 향상이 커지며, 이는 특히 도전적인 다수의 상호작용이 존재하는 장면에서 더 큰 성과를 올리는 것을 시사한다.
• 정성적 분석 결과, 모델은 오분류를 억제하고(예: FP 'board'의 확률이 0.29에서 0.07로 감소), 참 긍정을 증가시켰다(예: TP 'sit on bus'의 확률이 0.15에서 0.38로 상승).
• 모델은 잘못된 카테고리에 대해 낮은 신뢰도 점수를 제공함으로써 이미지 수준의 카테고리 점수 계산을 정확하게 수행하여 전체 검출 신뢰도를 향상시켰다.