[논문 리뷰] TMHOI: Translational Model for Human-Object Interaction Detection

Lijing Zhu, Qizhen Lan외 5명|arXiv (Cornell University)|2023. 03. 07.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 공간적 및 의미적 지식을 이원적 지식 그래프 임베딩 모델을 통해 통합하는 그래프 기반 모델인 TMHOI를 제안한다. 50차원의 임베딩 공간을 사용하여 외관 및 관계 특징을 노드 임베딩으로 인코딩함으로써, TMHOI는 HICO-DET에서 26.95 mAP의 최신 기술 수준 성능을 달성하며, 기존의 그래프 기반 방법보다 뛰어나면서도 계산 효율성을 유지한다.

ABSTRACT

Detecting human-object interactions (HOIs) is an intricate challenge in the field of computer vision. Existing methods for HOI detection heavily rely on appearance-based features, but these may not fully capture all the essential characteristics necessary for accurate detection. To overcome these challenges, we propose an innovative graph-based approach called TMGHOI (Translational Model for Human-Object Interaction Detection). Our method effectively captures the sentiment representation of HOIs by integrating both spatial and semantic knowledge. By representing HOIs as a graph, where the interaction components serve as nodes and their spatial relationships as edges. To extract crucial spatial and semantic information, TMGHOI employs separate spatial and semantic encoders. Subsequently, these encodings are combined to construct a knowledge graph that effectively captures the sentiment representation of HOIs. Additionally, the ability to incorporate prior knowledge enhances the understanding of interactions, further boosting detection accuracy. We conducted extensive evaluations on the widely-used HICO-DET datasets to demonstrate the effectiveness of TMGHOI. Our approach outperformed existing state-of-the-art graph-based methods by a significant margin, showcasing its potential as a superior solution for HOI detection. We are confident that TMGHOI has the potential to significantly improve the accuracy and efficiency of HOI detection. Its integration of spatial and semantic knowledge, along with its computational efficiency and practicality, makes it a valuable tool for researchers and practitioners in the computer vision community. As with any research, we acknowledge the importance of further exploration and evaluation on various datasets to establish the generalizability and robustness of our proposed method.

연구 동기 및 목표

• 기존의 외관 특징에만 의존하는 HOI 검출 방법의 한계를 해결하여 관계 및 맥락 지식을 포착하지 못하는 문제를 해결한다.
• HOI 검출에서 트랜스포머 기반 모델의 높은 계산 비용 문제를 해결하기 위해 더 효율적인 그래프 기반 대안을 제안한다.
• 공간적 및 의미적 관계를 모델링하는 지식 그래프 임베딩을 통해 사전 지식을 통합하여 검출 정확도를 향상시킨다.
• 모델 표현력과 계산 효율성의 균형을 유지함으로써 실생활 응용에의 실용적 구현을 가능하게 한다.
• 이동 지식 그래프 모델이 HOI 검출 작업에서 노드 표현을 향상시키는 데 효과적인가를 입증한다.

제안 방법

• 사람 및 물체 인스턴스를 노드로, 공간적 관계를 간선으로 하는 지식 그래프를 구축한다.
• 사람-물체 쌍 간의 공간적 레이아웃 특징을 추출하기 위해 공간 인코더를 사용하고, 시각적 및 맥락적 의미를 위한 의미 인코더를 활용한다.
• 관계를 저차원 벡터 공간에 임베딩하기 위해 이동 모델(예: TransE 스타일)을 사용하며, 관계별 고유한 초평면을 적용한다.
• 외관 특징과 관계 임베딩을 요소별 연결 또는 잔차 연결을 통해 결합하여 풍부한 노드 표현을 형성한다.
• HICO-DET 데이터셋에서 다중 레이블 분류 손실을 사용하여 엔드 투 엔드로 모델을 훈련하고, mAP 최적화를 목표로 한다.
• 표현력과 과적합의 균형을 고려해 최적의 임베딩 크기(k=50)를 도출하기 위해 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 이동 지식 그래프 임베딩 모델이 인간-물체 상호작용 검출에서 관계 지식을 효과적으로 포착할 수 있는가?
• RQ2 그래프 기반 인코딩을 통해 공간적 및 의미적 특징을 통합할 경우, 외관 특징에만 의존하는 기준 모델에 비해 HOI 검출 성능은 어떻게 향상되는가?
• RQ3 이 HOI 검출 설정에서 이동 모델의 최적의 임베딩 차원은 무엇인가?
• RQ4 제안된 방법은 기존의 그래프 기반 및 트랜스포머 기반 HOI 검출기보다 더 높은 정확도와 효율성을 달성하는가?
• RQ5 관계적 인덕티브 바이어스를 통합할 경우, 희귀 및 비희귀 상호작용 유형 모두에 대해 모델이 잘 일반화되는가?

주요 결과

• TMHOI는 HICO-DET 데이터셋에서 평균 평균 정밀도(mAP) 26.95를 달성하여 기존 최신 기술 수준의 그래프 기반 방법을 능가한다.
• 분석 연구를 통해 k=50의 임베딩 크기가 표현력과 일반화 능력의 균형을 고려할 때 최적임을 확인하였다.
• 이동 관계 임베딩이 없는 모델은 mAP가 약 1점 감소하여 관계 특징의 중요성을 입증한다.
• 공간적, 의미적, 관계적 표현의 공동 최적화 덕분에 노드 및 간선 임베딩 간의 일관성이 향상됨을 확인하였다.
• 트랜스포머 기반 모델 대비 계산 효율성을 유지하여 실생활 적용에 적합함을 입증하였다.
• 희귀 상호작용(21.28 mAP) 및 비희귀 상호작용(28.56 mAP) 모두에서 뛰어난 성능을 기록하여 상호작용 유형 간의 강건성을 입증하였다.