[논문 리뷰] Cascaded Human-Object Interaction Recognition

Tianfei Zhou, Wenguan Wang외 3명|arXiv (Cornell University)|2020. 03. 09.

Multimodal Machine Learning Applications참고 문헌 54인용 수 8

한 줄 요약

이 논문은 인간-객체 상호작용(HOI) 인식을 위한 계단식(coarse-to-fine) 신경망 아키텍처를 제안하며, 다단계 개체 위치 지정과 상호작용 인식을 통합하고 단계 간 특징 전파를 구현한다. 이는 최신 기술 수준(SOTA) 성능을 달성하였으며, ICCV 2019 Person in Context 챌린지에서 관계 탐지 및 분할 작업 모두 1등을 차지하였고, 픽셀 수준의 마스크 기반 표현 방식이 기존의 경계 상자(bounding-box) 특징보다 우수함을 입증한다.

ABSTRACT

Rapid progress has been witnessed for human-object interaction (HOI) recognition, but most existing models are confined to single-stage reasoning pipelines. Considering the intrinsic complexity of the task, we introduce a cascade architecture for a multi-stage, coarse-to-fine HOI understanding. At each stage, an instance localization network progressively refines HOI proposals and feeds them into an interaction recognition network. Each of the two networks is also connected to its predecessor at the previous stage, enabling cross-stage information propagation. The interaction recognition network has two crucial parts: a relation ranking module for high-quality HOI proposal selection and a triple-stream classifier for relation prediction. With our carefully-designed human-centric relation features, these two modules work collaboratively towards effective interaction understanding. Further beyond relation detection on a bounding-box level, we make our framework flexible to perform fine-grained pixel-wise relation segmentation; this provides a new glimpse into better relation modeling. Our approach reached the $1^{st}$ place in the ICCV2019 Person in Context Challenge, on both relation detection and segmentation tasks. It also shows promising results on V-COCO.

연구 동기 및 목표

• 단일 스테이지 모델에 비해 인간-객체 상호작용 인식의 본질적 복잡성을 해결하기 위해 다단계, 계층적 추론 프레임워크를 도입하기 위해.
• 얼굴 패턴과 의미 정보 등 인간 중심 특징을 활용하여 행동 추론를 향상시켜 상호작용 이해를 개선하기 위해.
• HOI 모델링에서 경계 상자 표현 방식과 비교해 픽셀 수준의 마스크 기반 표현 방식이 얼마나 효과적인지 탐색하고 검증하기 위해.
• 경계 상자 수준의 탐지 기능을 초월하여 세밀한 픽셀 수준의 관계 분할을 가능하게 하기 위해 프레임워크를 확장하기 위해.

제안 방법

• 모델는 세 단계로 구성된 계단식 아키텍처를 활용하며, 각 단계에서 개체 위치 지정 네트워크를 통해 HOI 제안을 점진적으로 개선한다.
• 관계 랭킹 모듈(RRM)과 트리플 스트림 분류기(RCM)를 갖춘 상호작용 인식 네트워크가 고품질 후보 쌍에서 상호작용을 선택하고 예측한다.
• 학습된 점수 융합 전략을 사용해 인간 중심 특징(의미, 기하학적, 시각적)을 추출하고 융합하여 관계 표현을 향상시킨다.
• 단계 간 연결을 통해 연속된 단계 간 정보 흐름을 가능하게 하여 특징 학습과 추론 정확도를 향상시킨다.
• RoIAlign을 마스크 영역에 적응시켜 경계 상자 수준의 관계 탐지와 픽셀 수준의 관계 분할을 모두 지원한다.
• 요소별 최댓값 및 합 연산을 사용해 경계 상자 및 마스크 기반 특징을 융합하는 하이브리드 특징 융합 전략을 도입해 분석을 위한 부가 분석(ablation analysis)을 수행한다.

실험 결과

연구 질문

• RQ1 계단식, 계층적 추론 아키텍처는 단일 스테이지 모델에 비해 인간-객체 상호작용 인식의 정확도와 견고성을 향상시키는가?
• RQ2 얼굴 패턴과 의미 정보 등 인간 중심 특징은 HOI 인식에서 상호작용 이해를 어떻게 향상시키는가?
• RQ3 HOI 모델링에서 픽셀 수준의 마스크 기반 표현 방식은 전통적인 경계 상자 표현 방식보다 효과적인가?
• RQ4 동일한 계단식 프레임워크는 세밀한 픽셀 수준의 관계 분할 작업으로도 민첩하게 확장 가능한가?

주요 결과

• 제안된 계단식 모델은 ICCV 2019 Person in Context 챌린지에서 HOIW(관계 탐지) 및 PIC(관계 분할) 트랙 모두 1등을 차지하였다.
• PIC 검증 세트에서 ResNet-50 백본과 T=3 단계를 사용할 경우, mAP_rel 43.7%를 달성하여 R@20 27.8%, R@50 38.3%, R@100 45.3%의 성능을 기록하였다.
• 마스크 기반 표현 방식을 사용할 경우 경계 상자 기반 표현 방식보다 성능이 뛰어나며, 특히 엄격한 평가 조건(R@20)에서 0.7%p의 절대적 성능 향상을 보였다.
• 요소별 최댓값 또는 합 연산을 통해 마스크 및 경계 상자 특징을 융합하면 경계 상자 전용 특징보다 성능 향상이 있었지만, 순수한 마스크 기반 특징에 비해 약간 낮은 성능을 보였다.
• 관계 랭킹 모듈은 저품질 제안을 효과적으로 걸러내었으며, 학습된 점수 융합 전략을 갖춘 트리플 스트림 분류기는 단일 특징 기반 베이스라인에 비해 뛰어난 성능을 달성하였다.
• 모델의 추론 속도는 단계 수가 증가함에 따라 증가했지만, T=3 이후 성능이 정체되어 T=3을 최적 설정으로 도출하였다.