[논문 리뷰] PPDM: Parallel Point Detection and Matching for Real-time Human-Object Interaction Detection

Yue Liao, Si Liu외 4명|arXiv (Cornell University)|2019. 12. 30.

Advanced Neural Network Applications참고 문헌 33인용 수 29

한 줄 요약

PPDM는 인간-객체 상호작용(HOI) 검출을 병렬적인 점 검출 및 매칭 작업으로 재구성하는 새로운 단계별(HOI) 검출 프레임워크를 제안한다. 각 HOI를 인간, 상호작용, 객체의 세 점으로 모델링하며, 상호작용 점은 인간과 객체 중심의 중점으로 정의한다. 이를 통해 단일 Titan Xp GPU에서 37 fps의 실시간 추론 성능을 달성하면서도 HICO-DET에서 최고 수준의 정확도를 확보한다.

ABSTRACT

We propose a single-stage Human-Object Interaction (HOI) detection method that has outperformed all existing methods on HICO-DET dataset at 37 fps on a single Titan XP GPU. It is the first real-time HOI detection method. Conventional HOI detection methods are composed of two stages, i.e., human-object proposals generation, and proposals classification. Their effectiveness and efficiency are limited by the sequential and separate architecture. In this paper, we propose a Parallel Point Detection and Matching (PPDM) HOI detection framework. In PPDM, an HOI is defined as a point triplet < human point, interaction point, object point>. Human and object points are the center of the detection boxes, and the interaction point is the midpoint of the human and object points. PPDM contains two parallel branches, namely point detection branch and point matching branch. The point detection branch predicts three points. Simultaneously, the point matching branch predicts two displacements from the interaction point to its corresponding human and object points. The human point and the object point originated from the same interaction point are considered as matched pairs. In our novel parallel architecture, the interaction points implicitly provide context and regularization for human and object detection. The isolated detection boxes are unlikely to form meaning HOI triplets are suppressed, which increases the precision of HOI detection. Moreover, the matching between human and object detection boxes is only applied around limited numbers of filtered candidate interaction points, which saves much computational cost. Additionally, we build a new application-oriented database named HOI-A, which severs as a good supplement to the existing datasets. The source code and the dataset will be made publicly available to facilitate the development of HOI detection.

연구 동기 및 목표

• 이중 단계 HOI 검출 방법의 한계를 해결하기 위해 순차적 처리 및 높은 계산 비용을 초래하는 문제를 해결한다.
• 인간과 객체 검출 과정에서 상호작용 점을 통해 맥락 정규화를 통합함으로써 검출 정밀도를 향상시킨다.
• 필터링된 상호작용 점 후보를 통해 상호작용 후보 수를 줄여 실시간 추론을 가능하게 한다.
• 실제 HOI 검출 시나리오를 더 잘 지원하기 위해 응용 중심의 새로운 데이터셋인 HOI-A를 개발한다.
• 일반적으로 저품질 또는 관련성이 없는 쌍을 생성하는 인간-객체 제안 생성에 의존하는 것을 제거한다.

제안 방법

• HOI 검출을 인간, 객체, 상호작용(인간과 객체 중심의 중점)의 세 중심 점 예측으로 재구성한다.
• 두 가지 브런치로 구성된 병렬 아키텍처를 도입한다: 점 검출(세 점과 그 크기 예측) 및 점 매칭(상호작용 점에서 인간/객체 점으로의 이동량 예측).
• 상호작용 점을 맥락 기반 앵커로 사용하여 인간과 객체 검출을 정규화함으로써 고립되거나 불가능한 검출 박스를 억제한다.
• 모든 인간-객체 제안을 분류하는 것과 비교해 상호작용 점 후보에만 매칭을 적용함으로써 계산 비용을 극적으로 감소시킨다.
• 특징 융합 및 글로벌 추론 모듈을 갖춘 DLA 또는 아워글라스 백본을 사용하여 특징 표현 및 상호작용 예측 성능을 향상시킨다.
• 인간과 객체 바운딩 박스 중심의 중점을 상호작용 점으로 사용하며, 이는 분석 결과 최적임을 입증하였다.

실험 결과

연구 질문

• RQ1 단일 단계 병렬 프레임워크가 기존 이중 단계 HOI 검출 방법보다 정확도와 추론 속도 측면에서 모두 슈퍼리오어할 수 있는가?
• RQ2 인간과 객체 중심의 중점으로 상호작용을 모델링하는 것이 검출 정밀도와 일반화 능력을 향상시키는가?
• RQ3 상호작용 점을 통한 맥락 인식 정규화가 의미 없는 HOI 트리플릿을 형성하지 않는 가짜 양성 검출 박스를 억제하는가?
• RQ4 정확도를 희생시키지 않고도 단일 GPU에서 실시간 HOI 검출(≥30 fps)을 달성하는 것이 가능한가?
• RQ5 제안된 방법은 희귀 및 비희귀 상호작용 유형에 대해 최고 수준의 방법들과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• PPDM-DLA는 HICO-DET에서 20.29% mAP를 달성하여 이전 모든 방법을 능가하며, 37 fps(27 ms 추론 시간)로 작동하여 최초의 실시간 HOI 검출 방법이 되었다.
• PPDM-Hourgglass는 최고 수준의 성능을 기록한 이전 방법보다 4.27% mAP 향상되었으며, 고속을 유지하면서도 뛰어난 정확도-효율성 균형을 보였다.
• 분석 결과, 중점을 상호작용 점으로 사용할 경우 유니온 박스 중심 등 다른 위치보다 1.64% 높은 mAP를 기록하여 그 최적성의 타당성을 입증하였다.
• 특징 융합 및 글로벌 추론 모듈은 성능을 약간 향상시키며, 둘을 동시에 사용할 경우 기본 모델 대비 mAP가 0.35% 향상되었다.
• 정성적 결과는 PPDM가 두 단계 방법이 실패하는 작은 또는 감지가 어려운 상호작용(예: 사람이 비행기 위에 앉아 있는 경우)을 효과적으로 검출함을 보여주었다.
• 특히 불균형 데이터셋에서 '상호작용 없음' 예측의 가짜 양성 수를 크게 감소시켜, 무분별한 제안 분류를 피하는 데 기여하였다.