[논문 리뷰] Glance and Gaze: Inferring Action-aware Points for One-Stage Human-Object Interaction Detection

Xubin Zhong, Xian Qu외 2명|arXiv (Cornell University)|2021. 04. 12.

Visual Attention and Saliency Detection참고 문헌 34인용 수 7

한 줄 요약

이 논문은 단일 백본과 외관 특징만을 사용하여 V-COCO 및 HICO-DET 벤치마크에서 최고 성능을 기록한 새로운 일단계 인간-물체 상호작용(HOI) 검출 프레임워크인 Glance와 Gaze 네트워크(GGNet)를 제안한다. GGNet은 두 단계 과정을 통해 동작 인식 포인트(ActPoints)를 적응적으로 추론한다: 먼저 상호작용 가능 픽셀을 식별하기 위한 '눈치보기' 단계와, 정확한 상호작용 예측을 위해 분류 가능한 ActPoints를 점진적으로 개선하는 '집중 보기' 단계이다.

ABSTRACT

Modern human-object interaction (HOI) detection approaches can be divided into one-stage methods and twostage ones. One-stage models are more efficient due to their straightforward architectures, but the two-stage models are still advantageous in accuracy. Existing one-stage models usually begin by detecting predefined interaction areas or points, and then attend to these areas only for interaction prediction; therefore, they lack reasoning steps that dynamically search for discriminative cues. In this paper, we propose a novel one-stage method, namely Glance and Gaze Network (GGNet), which adaptively models a set of actionaware points (ActPoints) via glance and gaze steps. The glance step quickly determines whether each pixel in the feature maps is an interaction point. The gaze step leverages feature maps produced by the glance step to adaptively infer ActPoints around each pixel in a progressive manner. Features of the refined ActPoints are aggregated for interaction prediction. Moreover, we design an actionaware approach that effectively matches each detected interaction with its associated human-object pair, along with a novel hard negative attentive loss to improve the optimization of GGNet. All the above operations are conducted simultaneously and efficiently for all pixels in the feature maps. Finally, GGNet outperforms state-of-the-art methods by significant margins on both V-COCO and HICODET benchmarks. Code of GGNet is available at https: //github.com/SherlockHolmes221/GGNet.

연구 동기 및 목표

• 일단계 HOI 검출에서 사전 정의된 상호작용 영역의 한계를 해결하기 위해, 이는 종종 의미적 모호성과 복잡한 상호작용의 부정확한 표현을 초래한다.
• 인간의 시각 주의를 모방하기 위해 눈치보기와 집중 보기의 두 단계 메커니즘을 도입하여 동적이고 적응적인 분류 가능한 상호작용 포인트 추론을 실현한다.
• 범주별 회귀기 할당 전략을 설계하여 공간 정렬을 향상시킴으로써 상호작용 예측 정확도를 향상시킨다.
• 어려운 샘플에 초점을 맞추는 새로운 하드 음성 주의 손실을 통해 모델 최적화를 향상시킨다.
• 단일 공유 백본과 외관 특징만을 사용하여 일정한 단계 HOI 검출에서 최고 성능을 달성한다.

제안 방법

• 눈치보기 단계는 가벼운 헤드를 사용하여 특징 맵 전역에서 픽셀 단위 분류를 수행하여 잠재적 상호작용 포인트를 식별한다.
• 집중 보기 단계는 동작 인식 포인트(ActPoints)의 위치를 두 단계로 정밀화한다: 먼저 굵은 위치를 예측하고, 그 다음 잔여 오프셋을 추정하여 점진적인 개선을 수행한다.
• 정밀화된 ActPoints의 특징은 학습 가능한 집합 모듈을 통해 집계되어 상호작용 예측을 위한 맥락 풍부한 표현을 생성한다.
• 동작 인식 포인트 매칭(APM) 전략은 각 상호작용 범주에 맞는 고유한 위치 회귀기를 할당하여 예측 포인트와 진짜 인간-물체 쌍 간의 공간 정렬을 향상시킨다.
• 어려운, 잘못 분류된 샘플에 초점을 맞추는 새로운 하드 음성 주의 손실이 도입되어 일반화 및 최적화 안정성을 향상시킨다.
• 모든 구성 요소는 하나의 종단 간 훈련 가능한 일정한 단계 프레임워크에 통합되어 객체 검출 및 상호작용 예측을 동시에 효율적으로 처리할 수 있다.

실험 결과

연구 질문

• RQ1 동적이고 적응적인 상호작용 포인트 추론을 통해 일정한 단계 HOI 검출 모델이 효율성을 유지하면서도 이중 단계 방법을 초월하는 정확도를 달성할 수 있는가?
• RQ2 눈치보기와 집중 보기의 두 단계 시각 주의 메커니즘은 정적이고 사전 정의된 영역에 비해 상호작용 포인트의 정렬과 표현을 어떻게 향상시키는가?
• RQ3 상호작용 포인트에 범주별 회귀기를 할당하는 것이 더 나은 공간 정렬과 향상된 검출 성능을 이끌어내는가?
• RQ4 하드 음성 주의 손실이 HOI 검출에서 모델 최적화와 일반화에 얼마나 기여하는가?
• RQ5 단일 공유 백본과 외관 특징만을 사용하여 일정한 단계 HOI 검출에서 최고 성능을 달성할 수 있는가?

주요 결과

• V-COCO 벤치마크에서 GGNet은 동일한 백본 설정 하에 이전 최고 성능 기록인 PPDM보다 3.6% 높은 mAP 34.89를 기록했다.
• HICO-DET에서 GGNet은 DT 모드에서 33.50 mAP를 기록하여, 외관 특징만을 사용함에도 불구하고 최고의 이중 단계 방법인 PD-Net을 1.10 mAP 초월했다.
• 희귀 및 비희귀 범주에 대한 DT 모드에서 GGNet은 PPDM 대비 각각 2.70%와 2.64% 높은 mAP를 기록하여 긴 꼬리 데이터에 대한 강력한 일반화 능력을 입증했다.
• DRG의 객체 검출 결과를 사용하여 평가한 결과, GGNet‡는 DT 모드에서 DRG⋄‡보다 4.64% 높은 34.89 mAP를 기록하여 강건성과 효율성을 입증했다.
• 정성적 결과는 집중 보기 단계로 정밀화된 ActPoints가 초기 눈치보기 포인트의 모호한 배경 위치와는 달리 더 분류 가능한 인간 및 물체 부분(예: 손, 물체)에 일관되게 위치함을 보여준다.
• 절단 실험 결과는 동작 인식 포인트 매칭 및 하드 음성 주의 손실이 핵심 구성 요소임을 확인하며, mAP와 정렬 정확도를 크게 향상시킨다.