[논문 리뷰] Detecting Human-Object Interactions with Action Co-occurrence Priors

Dong-Jin Kim, Xiao Sun외 3명|arXiv (Cornell University)|2020. 07. 17.

Multimodal Machine Learning Applications참고 문헌 64인용 수 14

한 줄 요약

이 논문은 인간-객체 상호작용(HOI) 검출에서 희귀 클래스의 수가 매우 적은 장기 분포 데이터셋에서 자연스러운 상관관계와 반대상관관계를 활용하여 행동 공존 사전(ACPs)을 제안한다. 계층적 딥 러닝 아키텍처와 지식 정복 기반 레이블 확장 기법을 도입하여 훈련을 향상시키며, HICO-Det과 V-COCO에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 희귀 HOI 클래스에서 mAP가 38.24% 향상되었다(훈련 샘플 수 0–9개).

ABSTRACT

A common problem in human-object interaction (HOI) detection task is that numerous HOI classes have only a small number of labeled examples, resulting in training sets with a long-tailed distribution. The lack of positive labels can lead to low classification accuracy for these classes. Towards addressing this issue, we observe that there exist natural correlations and anti-correlations among human-object interactions. In this paper, we model the correlations as action co-occurrence matrices and present techniques to learn these priors and leverage them for more effective training, especially in rare classes. The utility of our approach is demonstrated experimentally, where the performance of our approach exceeds the state-of-the-art methods on both of the two leading HOI detection benchmark datasets, HICO-Det and V-COCO.

연구 동기 및 목표

• 희귀 상호작용 클래스가 매우 적은 레이블 훈련 샘플을 가진 HOI 검출의 장기 분포 문제를 해결한다.
• 인간-객체 상호작용 간 자연스러운 상관관계와 반대상관관계를 활용하여 희귀 HOI 클래스의 검출 성능을 향상시킨다.
• 목표 데이터셋의 공존 통계를 사전으로 사용하여 외부 언어 자원에 의존하지 않는 방법을 개발한다.
• 아키텍처 설계와 손실 정규화를 통해 저자원 HOI 클래스에 특히 강건하고 일반화 능력이 뛰어난 모델을 향상시킨다.

제안 방법

• 훈련 레이블 통계에서 행동 공존 행렬을 구성하여 HOI 클래스 간 자연스러운 상관관계와 반대상관관계를 모델링한다.
• 공존 사전에 기반한 상호 배타적인 앵커 행동 기반의 행동 그룹에 따라 분류를 먼저 수행하는 계층적 신경망을 설계한다.
• 공존하는 더 흔한 HOI들로부터의 예측을 활용하여 희귀 HOI에 대한 추가 양성 레이블을 생성하는 지식 정복 기반 레이블 확장 기법을 구현한다.
• 공존 행렬을 기반으로 한 투영 함수를 적용하여 모델 예측을 개선하고, 진정한 클래스에 대한 신뢰도를 높이며 최적화 없이도 오분류를 억제한다.
• 공존 행렬에서 유도된 개선된 목표 함수를 사용하여 훈련 손실을 정규화하여 꼬리 계열 상호작용에서의 강건성을 향상시킨다.
• 공존 사전를 네트워크 아키텍처(그룹화)와 손실 함수(정규화) 양쪽에서 독립적으로 활용하여 상호 보완적인 성능 향상 효과를 얻는다.

실험 결과

연구 질문

• RQ1 인간-객체 상호작용 간 자연스러운 공존 패턴이 희귀 HOI 클래스 검출 향상에 효과적으로 사전으로 활용될 수 있는가?
• RQ2 행동 공존 사전는 딥 러닝 아키텍처에 어떻게 통합되어 장기 분포 HOI 데이터셋에서의 성능을 향상시킬 수 있는가?
• RQ3 공존 사전를 활용한 지식 정복은 특히 제로샷 및 저샷 설정에서 더 나은 일반화 성능을 이끌어낼 수 있는가?
• RQ4 공존 사전는 10개 미만의 훈련 샘플을 가진 희귀 HOI 클래스에서 얼마나 높은 성능 향상을 이끌어낼 수 있는가?

주요 결과

• 제안된 방법은 제로샷 HICO-Det 벤치마크에서 35.0 mAP를 달성하여 이전 SOTA(28.6 mAP)보다 22.4% 상대적 향상률을 기록했다.
• 제로샷 설정에서 ACP 모델이 동일한 모델의 지도 학습 기반 베이스라인을 초월하여 강력한 사전 지식 전이 능력을 입증했다.
• 훈련 샘플 수가 0–9개인 HOI 클래스에서 기준 모델 대비 38.24% 상대적 mAP 향상을 달성하여 희귀 클래스에서 뚜렷한 성과 향상을 보였다.
• 공존 행렬 기반의 투영 함수는 추가 최적화 없이도 진정한 HOI 클래스에 대한 신뢰도를 높이고 오분류에 대한 점수를 낮춘다.
• 모든 샘플 수 그룹에서 일관된 성능 향상이 관찰되었으며, 특히 자원이 가장 부족한 카테고리에서 가장 큰 성과 향상이 발생했다.
• HICO-Det과 V-COCO 데이터셋 양쪽에서 최신 기술 수준(SOTA) 모델을 초월하여 다양한 벤치마크에서의 일반화 능력을 입증했다.