[논문 리뷰] VSGNet: Spatial Attention Network for Detecting Human Object Interactions Using Graph Convolutions

Oytun Ulutan, Adnan Iftekhar외 1명|arXiv (Cornell University)|2020. 03. 11.

Multimodal Machine Learning Applications참고 문헌 31인용 수 15

한 줄 요약

VSGNet는 시각적, 공간적, 그래프 컨volution 브랜치를 통합한 새로운 그래프 기반 딥러닝 프레임워크로, 인간-물체 상호작용(HOI) 검출을 위해 설계되었다. 공간 주의 메커니즘을 사용해 인간-물체 간 공간적 구성에 기반한 시각적 특징을 정밀하게 보정하고, 상호작용 제안 점수를 엣지 가중치로 사용하는 그래프 컨볼루션을 적용하여, V-COCO와 HICO-DET에서 각각 8% (4 mAP) 및 16% (3 mAP)의 성능 향상을 이룩하며 최신 기준 성능을 달성한다.

ABSTRACT

Comprehensive visual understanding requires detection frameworks that can effectively learn and utilize object interactions while analyzing objects individually. This is the main objective in Human-Object Interaction (HOI) detection task. In particular, relative spatial reasoning and structural connections between objects are essential cues for analyzing interactions, which is addressed by the proposed Visual-Spatial-Graph Network (VSGNet) architecture. VSGNet extracts visual features from the human-object pairs, refines the features with spatial configurations of the pair, and utilizes the structural connections between the pair via graph convolutions. The performance of VSGNet is thoroughly evaluated using the Verbs in COCO (V-COCO) and HICO-DET datasets. Experimental results indicate that VSGNet outperforms state-of-the-art solutions by 8% or 4 mAP in V-COCO and 16% or 3 mAP in HICO-DET.

연구 동기 및 목표

• 인간-물체 쌍 간의 공간적 구성과 구조적 관계를 명시적으로 모델링하여 인간-물체 상호작용 검출을 향상시키기.
• 기존 HOI 방법들이 시각적 특징과 공간적 특징을 독립적으로 다루거나 주의 메커니즘 없이 단순 연결하는 데서 비롯되는 한계를 해결하기.
• 주의 메커니즘을 사용해 특징 수준에서 공간 관계를 융합함으로써 특징 표현을 향상시키기.
• 엣지 가중치가 상호작용 제안 점수로부터 유도되는 그래프 컨volutional 네트워크(GCN)를 사용해 상호작용을 모델링하기.
• 표준 HOI 벤치마크인 V-COCO와 HICO-DET에서 최신 기준 성능을 달성하기.

제안 방법

• VSGNet은 시각, 공간, 그래프의 세 가지 브랜치로 구성된 아키텍처를 사용하여 통합적 특징 학습을 수행한다.
• 공간 브랜치는 인간-물체 쌍의 상대적 공간적 구성(바운딩 박스 좌표)을 기반으로 공간 주의 가중치를 계산하여, 요소별 곱셈을 통해 시각적 특징을 정밀하게 보정한다.
• 시각적 특징은 사전 학습된 Faster R-CNN 백본을 사용해 추출한 후, 주의 메커니즘을 통해 공간적으로 보정된다.
• 공간적으로 보정된 특징에서 상호작용 제안 점수가 생성되며, 이는 그래프 컨volutional 네트워크(GCN)의 엣지 강도로 사용되어 구조적 상호작용을 모델링한다.
• 그래프 브랜치는 인간-물체 상호작용 그래프 위에서 그래프 컨볼루션을 적용하며, 노드는 인간과 물체를 나타내고, 엣지는 상호작용 점수에 의해 가중치가 부여된다.
• 최종 예측 헤드는 융합된 시각적 특징과 그래프 브랜치 특징을 사용해 상호작용 동사를 분류한다.

실험 결과

연구 질문

• RQ1 인간-물체 쌍 간의 공간적 구성이 주의 메커니즘으로서 효과적으로 활용되어 시각적 특징을 HOI 검출에서 정밀하게 보정할 수 있는가?
• RQ2 공간 주의와 그래프 컨볼루션 네트워크를 융합함으로써 기존의 특징 단순 연결 방식을 초월해 상호작용 예측 성능가 향상되는가?
• RQ3 GCN에서 상호작용 제안 점수를 엣지 가중치로 사용할 경우 인간-물체 상호작용의 구조적 모델링이 얼마나 향상되는가?
• RQ4 제안된 VSGNet 아키텍처가 V-COCO와 HICO-DET와 같은 표준 HOI 벤치마크에서 기존 최고 성능 방법을 초월하는가?
• RQ5 다양한 백본 네트워크가 VSGNet 프레임워크의 성능에 미치는 영향은 어떠한가?

주요 결과

• V-COCO 데이터셋에서 기존 최고 성능 대비 4 mAP 향상(51.76 mAP)을 달성하여 상대적 성능 향상 8%를 기록했다.
• HICO-DET 데이터셋에서는 기존 최고 성능 대비 3 mAP 향상(23.7 mAP)을 기록하여 상대적 성능 향상 16%를 달성했다.
• 공간 주의 메커니즘의 사용은 미세한 상호작용이나 부분적으로 가려진 물체가 있는 경우에도 검출 성능 향상에 기여하는 것으로 나타났다.
• ResNet-152가 최적의 백본으로 확인되어 V-COCO와 HICO-DET 양쪽에서 가장 높은 mAP 성능을 기록했다.
• 정성적 결과 분석을 통해 VSGNet은 가려진 물체나 모호한 상호작용이 있는 어려운 케이스에서 기반 시각 전용 모델보다 뛰어난 성능을 보였다.
• 실패 케이스의 주요 원인은 혼동스러운 공간적 단서, 레이블의 모호성(예: 'hold' vs. 'carry'), 또는 물체 검출 오류로 인한 것으로 나타나, 이러한 조건에서는 강건성에 한계가 있음을 시사한다.