[논문 리뷰] UnionDet: Union-Level Detector Towards Real-Time Human-Object Interaction Detection

Bumsoo Kim, Tae-Ho Choi외 2명|arXiv (Cornell University)|2023. 12. 19.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 인간-객체 상호작용(HOI) 검출을 위한 단계별(one-stage) 프레임워크인 UnionDet을 제안한다. 이는 기존의 후처리 객체 검출 후 쌍화 단계를 제거하고, 인간-객체 쌍의 상호작용 영역(합집합)을 직접 예측하는 새로운 수준의 합집합 검출기(union-level detector)를 사용한다. 유니온 앵커 레이블링, 대상 객체 분류 손실, 그리고 전경 포아성 손실을 도입함으로써 UnionDet은 상호작용 예측에 있어 4배에서 14배 빠른 추론 속도를 달성하면서도 V-COCO와 HICO-DET에서 최신 기술을 초월하는 성능을 보였다.

ABSTRACT

Recent advances in deep neural networks have achieved significant progress in detecting individual objects from an image. However, object detection is not sufficient to fully understand a visual scene. Towards a deeper visual understanding, the interactions between objects, especially humans and objects are essential. Most prior works have obtained this information with a bottom-up approach, where the objects are first detected and the interactions are predicted sequentially by pairing the objects. This is a major bottleneck in HOI detection inference time. To tackle this problem, we propose UnionDet, a one-stage meta-architecture for HOI detection powered by a novel union-level detector that eliminates this additional inference stage by directly capturing the region of interaction. Our one-stage detector for human-object interaction shows a significant reduction in interaction prediction time 4x~14x while outperforming state-of-the-art methods on two public datasets: V-COCO and HICO-DET.

연구 동기 및 목표

• 순차적인 객체 검출과 상호작용 쌍화가 필요로 하는 다단계 HOI 검출기의 비효율성을 해결하여 주요 추론 병목 현상을 제거한다.
• 객체 쌍에 대한 무거운 후처리 추론이 필요 없도록 하여 실시간 HOI 검출을 가능하게 한다.
• 객체와 상호작용을 동시에 검출할 수 있는 통합형, 엔드 투 엔드 훈련 가능한 단계별 아키텍처를 개발한다.
• 인간 영역에 대한 편향과 IoU 기반 매칭의 정확도 부족과 같은 유니온 수준 검출의 기술적 과제를 해결한다.
• 표준 객체 검출에 비해 추가적인 추론 시간이 최소한이 되도록 하면서 최고 성능을 달성한다.

제안 방법

• 후처리 쌍화에 의존하지 않고, 인간과 객체의 합집합인 상호작용 영역을 직접 회귀하는 새로운 수준의 유니온 검출기를 제안한다.
• 유니온 수준의 IoU 매칭 기반으로 앵커를 상호작용 영역에 할당하는 유니온 앵커 레이블링을 도입하여 정위치 정확도를 향상시킨다.
• 상호작용 쌍 내의 객체 클래스를 더 잘 구분할 수 있도록 하는 대상 객체 분류 손실($\mathcal{L}^{cls}_{ij}$)을 설계한다.
• 유니온 수준의 신뢰도 기반으로 양성 샘플을 재가중하는 유니온 전경 포아성 손실(FFL)을 개발하여 배경 편향을 줄인다.
• 표준 IoU 대신 더 견고한 메트릭을 사용하는 유니온 매칭 함수($\mu_u$)를 도입하여 앵커를 상호작용 영역에 매칭한다.
• 기존의 단계별 객체 검출기와 호환 가능한 메타 아키텍처(UnionDet)에 유니온 검출기를 통합하여 엔드 투 엔드 훈련을 가능하게 한다.

Figure 1: Technical Challenges in Union Detection. (Left) The box with the highest confidence for the ground-truth action ’throw’ is highlighted in bold, and the region with the highest IoU with the ground-truth union region is dotted. As you can see, the highest confidence is biased towards the hum

실험 결과

연구 질문

• RQ1 독립적인 쌍화 단계 없이 단계별 검출기가 인간-객체 상호작용 영역을 직접 예측할 수 있는가?
• RQ2 유니온 수준의 검출이 인간 영역에 대한 편향과 정확도가 떨어지는 IoU 기반 매칭과 같은 과제를 어떻게 극복할 수 있는가?
• RQ3 유니온 수준 검출의 성능을 안정화하고 향상시키기 위해 필요한 훈련 기법은 무엇인가?
• RQ4 다단계 HOI 검출기 대비 유니온 수준 검출기가 얼마나 빠른 추론 속도를 달성할 수 있는가?
• RQ5 유니온 수준 검출기가 실시간 추론 속도를 유지하면서도 최고 성능을 달성할 수 있는가?

주요 결과

• UnionDet는 객체 검출 후 40ms–130ms가 소요되는 기준 다단계 HOI 검출기 대비 상호작용 예측에 있어 4배에서 14배 빠른 추론 속도를 달성했다.
• 표준 객체 검출기 기반으로 추가 추론 시간을 단 9.06ms(11.7%)로 줄여 기존 방법보다 뚜렷이 뛰어난 성능을 보였다.
• V-COCO 데이터셋에서 두 가지 평가 시나리오 모두에서 평균 정밀도 47.5%와 56.2%를 달성하여 최신 기술을 뛰어넘었다.
• HICO-DET에서 외부 특징을 사용하지 않아도 '기본(Default)' 및 '알려진 객체(Known Object)' 설정 모두에서 최고 성능을 기록했다.
• 제거 실험 결과, 유니온 브랜치, 대상 객체 분류 손실, 유니온 매칭 함수, 전경 포아성 손실 각각이 검출 성능 향상에 뚜렷한 기여를 했다.
• 모델는 엔드 투 엔드 훈련이 가능하고 기존의 단계별 객체 검출기와 호환되어 실시간 배포가 가능하면서도 높은 성능을 유지한다.

Figure 2: The overall architecture of UnionDet. Our UnionDet is generally compatible with one-stage object detectors. The feature pyramid obtained from the backbone network is simultaneously fed to Union Branch and Instance Branch. While Union Branch directly captures the region of interaction, Inst