[논문 리뷰] Contextual Heterogeneous Graph Network for Human-Object Interaction Detection

Hai Wang, Wei‐Shi Zheng외 1명|arXiv (Cornell University)|2020. 10. 20.

Multimodal Machine Learning Applications참고 문헌 38인용 수 8

한 줄 요약

이 논문은 인간과 물체를 별개의 노드 유형으로 모델링하여 인간-물체 상호작용(HOI) 검출에서 내반류(동질적) 및 외반류(이질적) 메시지 전파를 포괄적으로 포착하는 문맥 기반 이질적 그래프 네트워크(CHGN)를 제안한다. 문맥적으로 관련성이 높은 메시지를 가중치를 부여하기 위해 그래프 어텐션 기반 기법을 활용함으로써, CHGN은 V-COCO와 HICO-DET에서 최신 기준 성능(SOTA)을 달성하여, 이전 방법 대비 최대 0.7 mAP 및 HICO-DET에서 상대적 향상 34%를 기록한다.

ABSTRACT

Human-object interaction(HOI) detection is an important task for understanding human activity. Graph structure is appropriate to denote the HOIs in the scene. Since there is an subordination between human and object---human play subjective role and object play objective role in HOI, the relations between homogeneous entities and heterogeneous entities in the scene should also not be equally the same. However, previous graph models regard human and object as the same kind of nodes and do not consider that the messages are not equally the same between different entities. In this work, we address such a problem for HOI task by proposing a heterogeneous graph network that models humans and objects as different kinds of nodes and incorporates intra-class messages between homogeneous nodes and inter-class messages between heterogeneous nodes. In addition, a graph attention mechanism based on the intra-class context and inter-class context is exploited to improve the learning. Extensive experiments on the benchmark datasets V-COCO and HICO-DET demonstrate that the intra-class and inter-class messages are very important in HOI detection and verify the effectiveness of our method.

연구 동기 및 목표

• 이전의 그래프 기반 HOI 방법들이 인간과 물체 노드를 동일하게 취급하여 그들의 차별화된 역할(주어진 대상 대비 목적어)을 忽略하는 한계를 해결한다.
• 동일 유형 간 메시지(예: 사람 간 또는 물체 간)와 이질적 유형 간 메시지(사람-물체 쌍)가 상호작용 추론에 대해 동일하게 관련성이 있다고 보는 것은 아님을 인식한다.
• 내반류 및 외반류 맥락을 명시적으로 모델링하는 이질적 그래프 신경망을 개발하여 상호작용 검출 성능을 향상시킨다.
• 내반류 및 외반류 맥락 기반으로 이웃 노드로부터의 관련 메시지를 동적으로 가중치를 두는 그래프 어텐션 기법을 통합한다.
• 기준 데이터셋을 활용하여 복잡한 다중 상호작용 장면에서 메시지 유형을 구분하는 것이 효과적인지 입증한다.

제안 방법

• 이질적 그래프 내에서 인간과 물체를 별개의 노드 유형으로 표현함으로써, 차별화된 메시지 전파를 가능하게 한다.
• 동일 유형 간 노드 간(예: 사람-사람, 물체-물체)에 내반류 간선을 정의하여 유사성 또는 맥락적 관련성을 인코딩한다.
• 인간-물체 노드 간에 외반류 간선을 정의하여 상호작용 가능성 및 공간적 관계를 모델링한다.
• 내반류 및 외반류 맥락 특징을 기반으로 어텐션 점수를 계산하는 그래프 어텐션 기법을 도입한다.
• 학습된 어텐션 가중치를 사용해 메시지를 집계함으로써 노드 표현을 개선하고 상호작용 예측 성능을 향상시킨다.
• 상자 위치 예측 및 상호작용 클래스 예측을 최적화하기 위해 HOI 검출에서 교차 엔트로피 손실을 사용해 엔드 투 엔드 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 HOI 검출에서 내반류 및 외반류 메시지를 구분함으로써 동질적 그래프 모델 대비 성능 향상이 가능한가?
• RQ2 내반류 메시지(예: 사람 간 또는 물체 간 유사성)와 외반류 메시지(예: 상호작용 가능성)가 상호작용 추론에 어떻게 다르게 기여하는가?
• RQ3 내반류 및 외반류 맥락을 모두 고려하는 그래프 어텐션 기법이 복잡한 장면에서 특징 표현을 얼마나 향상시키는가?
• RQ4 제안된 이질적 그래프 모델은 희귀 및 복잡한 상호작용을 포함한 다양한 상호작용 유형으로 일반화되는가?
• RQ5 표준 HOI 벤치마크인 V-COCO 및 HICO-DET에서 기존 최신 기준(SOTA) 방법을 초월할 수 있는가?

주요 결과

• 제안된 CHGN 모델은 V-COCO 데이터셋에서 52.7% mAP를 기록하여 이전 SOTA 방법(PMFNet)보다 0.7 포인트 높은 성능을 달성한다.
• HICO-DET에서 Default 설정에서는 17.57% mAP를 기록하여 GPNN 기준 34%의 상대적 향상률을 기록한다.
• HICO-DET의 Known Object 설정에서는 21.08% mAP를 기록하여 이전 SOTA 방법(PMFNet)을 0.34 포인트 초월한다.
• 제거 실험 결과 내반류 및 외반류 메시지 학습이 모두 필수적임을 확인하였으며, 특히 외반류 메시지가 상호작용 추론에 크게 기여한다.
• 시각화 결과는 모델이 복잡한 장면에서 다중 상호작용을 정확히 식별하고, 상호작용 유무를 올바르게 구분함을 보여준다.
• 그래프 어텐션 기법은 관련이 있는 이웃 노드에 집중함으로써, 다수의 인간과 물체가 존재하는 장면에서의 강인성을 향상시킨다.