[논문 리뷰] End-to-End Human Object Interaction Detection with HOI Transformer

Cheng Zou, Bohan Wang외 9명|arXiv (Cornell University)|2021. 03. 08.

Multimodal Machine Learning Applications참고 문헌 39인용 수 5

한 줄 요약

이 논문은 트랜스포머 기반 인코더-디코더 아키텍처를 사용하여 (사람, 객체, 상호작용) 삼중항을 동시에 예측하는 엔드 투 엔드 방법인 HOI Transformer를 제안한다. 자가주의를 통해 전역적 맥락을 활용하고 오목한 매칭 손실을 도입함으로써, 수동으로 설계된 구성 요소와 복잡한 후처리를 제거하면서도 HICO-DET에서 26.61% AP, V-COCO에서 52.9% AP_{role}을 기록하여 기존 방법을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose HOI Transformer to tackle human object interaction (HOI) detection in an end-to-end manner. Current approaches either decouple HOI task into separated stages of object detection and interaction classification or introduce surrogate interaction problem. In contrast, our method, named HOI Transformer, streamlines the HOI pipeline by eliminating the need for many hand-designed components. HOI Transformer reasons about the relations of objects and humans from global image context and directly predicts HOI instances in parallel. A quintuple matching loss is introduced to force HOI predictions in a unified way. Our method is conceptually much simpler and demonstrates improved accuracy. Without bells and whistles, HOI Transformer achieves $26.61\% $ $ AP $ on HICO-DET and $52.9\%$ $AP_{role}$ on V-COCO, surpassing previous methods with the advantage of being much simpler. We hope our approach will serve as a simple and effective alternative for HOI tasks. Code is available at https://github.com/bbepoch/HoiTransformer .

연구 동기 및 목표

• 개별 객체 검출 및 상호작용 분류 단계를 따로 둔 두 단계 또는 대체 기반 HOI 검출 방법의 한계를 해결하기 위해.
• 사람-객체 제안 생성 및 복잡한 후처리 매칭 전략과 같은 수동으로 설계된 구성 요소가 필요 없도록 하기 위해.
• 통합된 엔드 투 엔드 프레임워크 내에서 자가주의 기반 메커니즘을 활용해 사람과 객체 간의 장거리 의존성을 효과적으로 모델링하기 위해.
• 통합된 손실 함수를 통해 사람, 객체, 상호작용 예측을 동시에 최적화하여 상호작용 검출 정확도를 향상시키기 위해.
• 더 복잡한 다단계 파이프라인에 비해 단순한 어텐션 기반 아키텍처가 HOI 검출에서 더 우수한 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• CNN 백본이 이미지 특징을 추출하고, 인코더가 전체 이미지 맥락을 나타내는 전역 메모리 특징을 생성하는 트랜스포머 인코더-디코더 아키텍처를 사용한다.
• 디코더가 전역 메모리와 HOI 쿼리에 주의를 기울여 각 예측된 HOI 삼중항 (사람, 객체, 상호작용)에 대한 출력 임베딩을 생성한다.
• 다층 퍼셉트론 헤드가 임베딩을 바운딩 박스, 클래스 레이블, 상호작용 카테고리로 디코딩한다.
• 학습 중에 예측된 삼중항과 진짜 삼중항을 일대일로 매칭함으로써 전체 HOI 인스턴스 예측을 감독하기 위해 오목한 매칭 손실을 도입한다.
• 추론 시 병렬 디코딩을 사용하여 반복적 매칭 없이 동시에 여러 개의 HOI 인스턴스를 출력할 수 있다.
• 디코더의 어텐션 맵을 시각화하여 모델이 상호작용 추론을 위해 관련된 사람과 객체 영역을 동시에 어떻게 집중적으로 분석하는지 분석한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 트랜스포머 기반 아키텍처가 두 단계 또는 대체 기반 방법보다 인간-객체 상호작용 검출에서 더 우수한 성능을 낼 수 있는가?
• RQ2 완전한 HOI 삼중항을 위한 통합된 손실 함수가 분리된 또는 대체 감독보다 성능 향상에 기여하는가?
• RQ3 수동으로 설계된 제안 없이도 자가주의 기반 메커니즘이 사람과 객체 간의 장거리 의존성을 효과적으로 모델링할 수 있는가?
• RQ4 희귀하거나 고밀도 상호작용 패턴을 가진 분포 외 시나리오에 대해 모델이 얼마나 잘 일반화되는가?
• RQ5 모델의 어텐션 메커니즘이 다양한 상호작용 카테고리에 대해 구분 가능한 특징을 어떻게 포착하는가?

주요 결과

• HOI Transformer는 추가 기능이나 복잡한 후처리를 사용하지 않아도 HICO-DET 벤치마크에서 26.61% AP를 달성하여 이전 최신 기술 수준의 성능을 초월한다.
• V-COCO 벤치마크에서 52.9% AP_{role}을 기록하여 상호작용 역할 예측에서 뛰어난 성능을 보였다.
• 훈련 데이터에서 흔하지 않은 '병에 물 마시기' 상호작용이 6개 포함된 이미지와 같은 분포 외 테스트 케이스에 대해서도 잘 일반화된다.
• 디코더 어텐션 맵의 시각화 결과, 모델이 전역 이미지 맥락을 활용하여 동시에 사람과 객체 영역에 주의를 기울이며 상호작용를 추론하는 것으로 나타났다.
• 유사한 공간 레이아웃을 공유하더라도 서로 다른 상호작용 카테고리를 효과적으로 구분할 수 있음을 통해 효과적인 특징 학습이 이루어졌음을 시사한다.
• 후처리 매칭이나 인간 자세 또는 부위 특징과 같은 보조 구성 요소가 없음에도 성능에 손상이 없었으며, 이는 모델의 자율성과 독립성을 강조한다.