[논문 리뷰] Learning to Detect Human-Object Interactions

Yu-Wei Chao, Yunfan Liu외 3명|arXiv (Cornell University)|2017. 02. 17.

Multimodal Machine Learning Applications참고 문헌 36인용 수 26

한 줄 요약

이 논문은 600개의 HOI 카테고리에 걸쳐 150만 건의 인스턴스 애너테이션을 포함하는 대규모 벤치마크인 HICO-DET를 소개한다. 이를 통해 상호작용 패턴—사람과 물체의 바운딩 박스 간의 학습된 공간적 표현—을 사용하는 지역 기반 CNN 프레임워크인 HO-RCNN을 제안하여 기준 방법 대비 감지 정확도를 크게 향상시켰으며, 새로운 벤치마크에서 최신 기술 수준의 mAP를 달성하였다.

ABSTRACT

We study the problem of detecting human-object interactions (HOI) in static images, defined as predicting a human and an object bounding box with an interaction class label that connects them. HOI detection is a fundamental problem in computer vision as it provides semantic information about the interactions among the detected objects. We introduce HICO-DET, a new large benchmark for HOI detection, by augmenting the current HICO classification benchmark with instance annotations. To solve the task, we propose Human-Object Region-based Convolutional Neural Networks (HO-RCNN). At the core of our HO-RCNN is the Interaction Pattern, a novel DNN input that characterizes the spatial relations between two bounding boxes. Experiments on HICO-DET demonstrate that our HO-RCNN, by exploiting human-object spatial relations through Interaction Patterns, significantly improves the performance of HOI detection over baseline approaches.

연구 동기 및 목표

• 이미지 내 상호작용을 국소화하고 분류하는 데 있어 진전을 이룰 수 있도록, 인간-물체 상호작용(HOI) 감지에 대한 대규모이고 인스턴스 수준의 벤치마크가 부족한 문제를 해결하기 위해.
• 이미지 수준의 HOI 분류와 물체 검출 간 격차를 해소하기 위해 인간-물체 상호작용의 동시 국소화 및 분류를 가능하게 하기 위해.
• 인간과 물체 간의 공간적 및 의미적 관계를 효과적으로 모델링하는 딥 러닝 프레임워크를 개발하여 감지 성능 향상에 기여하기 위해.
• 새로운 특징 표현인 상호작용 패턴을 통해 공간적 맥락이 HOI 감지에 얼마나 효과적인지 평가하기 위해.

제안 방법

• 인간과 물체 바운딩 박스 쌍과 상호작용 클래스 레이블을 예측하도록 확장된 이중 단계 객체 검출 프레임워크인 HICO-RCNN을 제안한다.
• 상호작용 패턴—두 바운딩 박스 간의 상대적 위치, 크기, 겹침 특징을 사용해 공간적 구성 정보를 인코딩하는 딥 네트워크 입력—을 도입한다.
• 인간 및 물체 제안을 생성하기 위해 영역 제안 네트워크(RPNs)를 사용한 후, 이를 인간-물체 제안으로 조합하여 동시 분류 및 회귀를 수행한다.
• 공통 백본(예: ResNet)을 사용해 특징을 추출한 후, 상호작용 패턴을 입력으로 받아 상호작용 클래스를 예측하는 영역 기반 분류기를 적용한다.
• 분류, 바운딩 박스 회귀, 상호작용 예측을 통합한 다중 작업 손실을 사용해 모델을 엔드 투 엔드로 훈련시킨다.
• 검출 점수와 상호작용 패턴 특징을 융합하여 예측을 개선하기 위해 스코어 헤드(S)를 활용한 후기 융합 전략을 적용한다.

실험 결과

연구 질문

• RQ1 대규모 인스턴스 수준의 벤치마크가 인간-물체 상호작용 감지의 평가 및 진전에 기여할 수 있는가?
• RQ2 학습된 상호작용 패턴을 통해 인간과 물체 간의 공간적 관계를 모델링하는 것이 HOI 감지에 얼마나 효과적인가?
• RQ3 상호작용 패턴을 통한 공간적 맥락 통합이 공간 구성 정보를 忽시하는 기준 방법 대비 성능 향상에 기여하는가?
• RQ4 특징 융합 및 제안 생성과 같은 다양한 설계 선택 사항이 HOI 작업의 최종 감지 정확도에 어떤 영향을 미치는가?

주요 결과

• 상호작용 패턴을 사용하는 HO-RCNN(HO+IP1 (conv)+S)은 Known Object 설정에서 mAP 10.41%를 기록했으며, Default 설정에서는 7.81%를 달성하여 기준 방법을 크게 능가했다.
• 단일 주의 창을 인간과 물체 모두에 사용하는 Fast-RCNN (union) 기준 방법은 Default 설정에서 mAP 1.75%에 머물러 있어, 상호작용을 구분하는 데에는 전역 맥락만으로는 부족함을 보였다.
• 검출 점수에만 의존하는 Fast-RCNN (score) 기준 방법은 Default 설정에서 mAP 2.85%를 기록하여, 물체 검출 신뢰도만으로는 상호작용 인식이 부족함을 시사했다.
• 인간-물체 제안에 대해 50개의 검출 결과를 기준으로 평균 재현율은 57.17%를 기록했으나, 제안 수가 제곱 수준으로 증가함에 따라 이는 여전히 한계점이었으며, 더 나은 제안 생성 방식이 필요함을 시사했다.
• 오류 분석 결과, 저성능 클래스는 주로 거짓 음성으로 인해 영향을 받았으며, 제안 재현율 향상이 mAP 향상에 기여할 수 있음을 시사했다.
• 정성적 결과에서는 HO-RCNN이 '자전거 타기'나 '사과 자르기'와 같은 복잡한 상호작용을 올바르게 감지하는 데 성공했으며, 오류 예측는 주로 잘못된 상호작용 클래스 예측 또는 정확하지 않은 바운딩 박스에서 기인했다.