[논문 리뷰] Deep Contextual Attention for Human-Object Interaction Detection

Tiancai Wang, Rao Muhammad Anwer외 5명|arXiv (Cornell University)|2019. 10. 17.

Multimodal Machine Learning Applications참고 문헌 29인용 수 24

한 줄 요약

이 논문은 인간-객체 상호작용(HOI) 검출을 위한 딥 컨텍스트 주의 프레임워크를 제안하며, 외관 특징을 맥락 인식 표현으로 향상시키고, 인스턴스 조건 주의 모듈을 사용해 배경 노이즈를 억제하면서 상호작용 관련 영역을 강조한다. 이 방법은 V-COCO에서 mAP role 기준 4.4%의 상대적 향상과 HICO-DET에서 9.4%의 상대적 향상을 기록하며, 미세한 상호작용 인식에서 맥락 모델링의 효과성을 입증한다.

ABSTRACT

Human-object interaction detection is an important and relatively new class of visual relationship detection tasks, essential for deeper scene understanding. Most existing approaches decompose the problem into object localization and interaction recognition. Despite showing progress, these approaches only rely on the appearances of humans and objects and overlook the available context information, crucial for capturing subtle interactions between them. We propose a contextual attention framework for human-object interaction detection. Our approach leverages context by learning contextually-aware appearance features for human and object instances. The proposed attention module then adaptively selects relevant instance-centric context information to highlight image regions likely to contain human-object interactions. Experiments are performed on three benchmarks: V-COCO, HICO-DET and HCVRD. Our approach outperforms the state-of-the-art on all datasets. On the V-COCO dataset, our method achieves a relative gain of 4.4% in terms of role mean average precision ($mAP_{role}$), compared to the existing best approach.

연구 동기 및 목표

• 기존의 HOI 검출 방법이 단지 외관 특징에 의존하고 맥락 정보를 忽시하는 한계를 해결하기 위해.
• 인간 및 물체 인스턴스에 대해 맥락 인식 특징을 학습하여 상호작용 인식을 향상시키기 위해.
• 인스턴스 중심의 적응형 주의 메커니즘을 통해 맥락 특징에서 배경 노이즈를 억제하면서 상호작용 관련 신호를 유지하기 위해.
• V-COCO, HICO-DET, HCVRD를 포함한 여러 HOI 검출 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.
• 인스턴스 중심 맥락 모델링이 미세한 인간-객체 상호작용을 구분하는 데 효과적인지 입증하기 위해.

제안 방법

• 전역 및 국소 맥락을 통합하여 인간 및 물체의 외관 특징를 풍부화하는 맥락 인식 외관 모듈을 도입한다.
• 전역 이미지 수준 맥락을 캡처하기 위해 맥락 통합 블록을 사용하고, 인스턴스별 주변 맥락을 추출하기 위해 국소 인코딩 블록을 활용한다.
• 인간 및 물체 인스턴스에 따라 관련 맥락 특징을 적응적으로 선택하는 인스턴스 조건 주의 모듈을 적용한다.
• 학습된 주의 맵을 사용해 전역 특징을 조절하여 인간-객체 상호작용이 포함될 가능성이 높은 영역을 강조한다.
• 다중 스트림 네트워크 아키텍처에 맥락 주의 모듈을 통합하여 인간 및 물체 검출과 상호작용 인식을 동시에 수행한다.
• 세 가지 표준 HOI 벤치마크에서 교차 엔트로피 손실과 박스 회귀 손실을 사용해 엔드 투 엔드 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 맥락 인식 외관 특징는 기존의 표준 외관 기반 방법을 초월해 인간-객체 상호작용 검출 성능을 향상시키는가?
• RQ2 인스턴스 조건 주의 메커니즘은 관련 없는 배경 맥락을 걸러내고 상호작용 관련 영역을 강조하는 데 얼마나 효과적인가?
• RQ3 전역 및 국소 맥락을 통합함으로써 동일한 물체 또는 동작을 포함하는 미세한 상호작용 간의 구분이 향상되는가?
• RQ4 제안된 프레임워크는 다양한 HOI 검출 벤치마크에서 기존 최신 기술 수준의 방법을 얼마나 뛰어넘는가?
• RQ5 희귀 및 비희귀 상호작용 카테고리뿐 아니라 다중 동시 상호작용에 대해서도 모델이 일반화 가능한가?

주요 결과

• 제안된 방법은 V-COCO 데이터셋에서 mAP role 기준 47.3을 기록하며, 이는 이전 최고 성능 방법 대비 4.4%의 상대적 향상이다.
• HICO-DET 데이터셋에서, 모든 카테고리 세트에서 기본 설정(Default setting)에서 기존 최고 성능 방법 대비 9.4%의 상대적 향상된 mAP를 달성했다.
• 기본 설정에서 HICO-DET에서 mAP 점수 16.24(전체), 11.16(희귀), 17.75(비희귀)를 기록하며 새로운 최고 기록을 수립했다.
• HCVRD 데이터셋에서, R@50 기준 상위 1 정확도와 상위 3 정확도는 각각 37.1과 51.3을 기록했으며, iCAN 대비 각각 3.3점과 2.4점 높은 성능을 보였다.
• 제거 실험 결과, 전역 및 국소 맥락 모두 성능 향상에 기여하며, 주의 모듈이 노이즈를 효과적으로 억제하는 것으로 확인되었다.
• 정성적 결과는 주의 맵이 iCAN과 같은 기준 방법 대비 상호작용 관련 영역(예: 손, 물체)에 더 집중되어 있음을 보여주었다.