[논문 리뷰] Parallel Reasoning Network for Human-Object Interaction Detection

Huan Peng, Fenggang Liu외 5명|arXiv (Cornell University)|2023. 01. 09.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 인간-객체 상호작용(HOI) 검출을 위한 새로운 트랜스포머 기반 프레임워크인 병렬 추론 네트워크(PR-Net)를 제안한다. 이는 두 개의 병렬이고 전용인 예측기들을 통해 인스턴스 수준의 국소화와 관계 수준의 이해를 분리한다. 인스턴스 수준에서는 인간과 물체의 끝부분 영역에 집중하고, 관계 수준에서는 상호작용 접촉 영역으로의 주의를 넓혀 관계 추론을 수행한다. 이를 통해 PR-Net은 HICO-DET 및 V-COCO 벤치마크에서 기존 최고 성능(SOTA)을 달성하며, 예측 분리와 트라이앵글-NMS 후처리를 통해 정확도는 향상하고 계산 비용은 감소시킨다.

ABSTRACT

Human-Object Interaction (HOI) detection aims to learn how human interacts with surrounding objects. Previous HOI detection frameworks simultaneously detect human, objects and their corresponding interactions by using a predictor. Using only one shared predictor cannot differentiate the attentive field of instance-level prediction and relation-level prediction. To solve this problem, we propose a new transformer-based method named Parallel Reasoning Network(PR-Net), which constructs two independent predictors for instance-level localization and relation-level understanding. The former predictor concentrates on instance-level localization by perceiving instances' extremity regions. The latter broadens the scope of relation region to reach a better relation-level semantic understanding. Extensive experiments and analysis on HICO-DET benchmark exhibit that our PR-Net effectively alleviated this problem. Our PR-Net has achieved competitive results on HICO-DET and V-COCO benchmarks.

연구 동기 및 목표

• 기존 HOI 검출기에서 인스턴스 수준과 관계 수준 예측 간 일관되지 않은 주의 집중 문제를 해결하기 위해.
• 어려운 음성 및 복잡한 HOI 샘플에 대한 상호작용 이해를 향상시키기 위해 국소화와 의미적 추론을 분리함으로써.
• 인스턴스와 관계 예측 간 후행 매칭 또는 재조합 단계가 필요 없도록 하기 위해.
• 전용 예측기와 함께 병렬이고 분리된 아키텍처를 통해 더 나은 성능과 효율성을 달성하기 위해.
• 일致성 손실 및 트라이앵글-NMS의 효과를 검증하기 위해.

제안 방법

• PR-Net은 두 개의 병렬이고 전용인 트랜스포머 기반 예측기를 사용한다: 하나는 인간과 물체의 끝부분 영역에 집중하는 인스턴스 수준 국소화를 위한 것이다.
• 다른 하나는 상호작용 접촉 영역과 맥락 영역으로의 주의를 확장하여 관계 수준 이해에 특화된 예측기이다.
• 인스턴스 수준과 관계 수준의 쿼리는 엄격하게 정렬되어 있으며, 이로 인해 상호 주의 또는 매칭 모듈이 필요 없어진다.
• 학습 중에 두 예측기 간 특징을 일치시키기 위해 일치성 손실(Consistency Loss)을 도입하여 특징 일관성과 모델의 강건성을 향상시킨다.
• 인간, 물체, 관계 박스 간의 겹침을 처리하기 위해 트라이앵글-NMS를 제안하며, 이는 세 박스 유형의 가중치가 부여된 IoU를 조합한 TriIoU 점수를 계산한다.
• 각 예측기별로 별도의 디코더 헤드를 갖는 공유 백본(ResNet)을 사용하여 재조합 없이 효율적인 동시 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 병렬이고 분리된 아키텍처가 HOI 검출에서 인스턴스 수준과 관계 수준 예측 간 주의 집중 일관성을 향상시킬 수 있는가?
• RQ2 인스턴스 국소화와 상호작용 이해를 분리함으로써 어려운 음성 및 복잡한 HOI 샘플에서 성능 향상이 이루어지는가?
• RQ3 공유 백본과 두 개의 독립적 디코더를 사용하는 단일 아키텍처가 기존의 일단계 및 이단계 HOI 검출기보다 정확도와 효율성 면에서 뛰어나게 성능을 내는가?
• RQ4 제안된 일치성 손실이 서로 다른 예측 수준 간 특징을 얼마나 잘 일치시키는가?
• RQ5 트라이앵글-NMS는 인간 박스 중복을 줄임으로써 얼마나 효과적으로 추론 후처리 성능을 향상시키는가?

주요 결과

• PR-Net는 ResNet-50를 사용할 경우 HICO-DET에서 평균 mAP 31.17%를 달성하고, ResNet-101를 사용할 경우 32.86%를 기록하여 동일 조건에서 QPIC 기준선(29.07% 및 29.90%)을 초월한다.
• 각 예측기의 디코더 레이어를 하나로 제한했을 때도 PR-Net는 여섯 레이어를 사용하는 QPIC 기준선을 29.64% mAP로 뛰어넘어 아키텍처 효율성을 입증한다.
• 제거 분석 결과에서 디코더 레이어 수를 늘릴수록 성능 향상이 이루어지며, 예측기당 세 레이어를 사용할 경우 ResNet-101 기반으로 32.86% mAP를 달성한다.
• 곱셈 기반 트라이앵글-NMS는 덧셈 기반 TriIoU보다 성능이 뛰어나며, 인간 박스 IoU의 가중치를 늘릴수록 성능 향상이 나타나, 인간 박스 중복이 더 심각함을 시사한다.
• t-SNE 시각화 결과 PR-Net가 물체 및 상호작용 클래스에 대해 분리된 특징을 잘 학습함을 확인하였으며, 특히 복잡한 상호작용에 대해 더 강력한 표현을 갖는다.
• 정성적 결과는 PR-Net이 복잡한 장면에서 미세하고 감지하기 어려운 HOI를 정확히 탐지함을 보여주며, 예를 들어 복잡한 상황에서 탑승자를 정확히 식별하는 데 성공했다.