[논문 리뷰] ACP++: Action Co-occurrence Priors for Human-Object Interaction Detection

Dong-Jin Kim, Xiao Sun외 3명|arXiv (Cornell University)|2021. 09. 09.

Multimodal Machine Learning Applications참고 문헌 114인용 수 16

한 줄 요약

이 논문은 장기적 테일 분포를 가진 데이터셋에서 인간-객체 상호작용(HOI) 검출 성능을 향상시키기 위해 동작 동시 발생 사전지식(ACPs)을 활용하는 ACP++ 방법을 제안한다. 계층적 신경망과 지식 정복을 통해 HOI 클래스 간 자연스러운 상관관계를 활용함으로써, 특히 훈련 샘플이 적은 희귀 HOI 클래스에서 최신 기술 대비 일관된 성능 향상을 달성한다. HICO-Det 및 V-COCO에서의 실험 결과가 이를 뒷받침한다.

ABSTRACT

A common problem in the task of human-object interaction (HOI) detection is that numerous HOI classes have only a small number of labeled examples, resulting in training sets with a long-tailed distribution. The lack of positive labels can lead to low classification accuracy for these classes. Towards addressing this issue, we observe that there exist natural correlations and anti-correlations among human-object interactions. In this paper, we model the correlations as action co-occurrence matrices and present techniques to learn these priors and leverage them for more effective training, especially on rare classes. The efficacy of our approach is demonstrated experimentally, where the performance of our approach consistently improves over the state-of-the-art methods on both of the two leading HOI detection benchmark datasets, HICO-Det and V-COCO.

연구 동기 및 목표

• HOI 검출에서 레이블 훈련 샘플이 매우 적은 희귀 클래스가 많은 장기적 테일 분포 문제를 해결하기 위해.
• 인간-객체 상호작용 간 자연스러운 상관관계와 반대 상관관계를 활용하여 희귀 HOI 클래스의 분류 정확도를 향상시키기 위해.
• 외부 지식 소스가 필요 없이 레이블 동시 발생 통계에서 학습하는 방법을 개발하기 위해.
• 공동 발생 사전지식에 기반한 아키텍처 및 손실 함수 혁신을 통해 모델의 강인성과 일반화 능력을 향상시키기 위해.

제안 방법

• 공동 발생 사전지식에 기반해 상호 배타적인 앵커 동작로 정의된 동작 그룹 수준에서 분류를 수행하는 계층적 신경망 아키텍처를 제안한다.
• 훈련 중 더 자주 발생하는 공통 발생 HOI들로부터 지식을 전이함으로써 희귀 HOI의 양성 레이블을 확장하기 위해 지식 정복을 사용한다.
• 주변 인간-객체 쌍에 주목함으로써 인간-객체 쌍 표현을 풍부화하는 자기주의 모듈을 도입하여 전역적 맥락 모델링을 향상시킨다.
• 유사한 의미적 객체 카테고리 간 지식을 전이하기 위해 단어 임베딩 회귀 손실을 도입하여 희귀 클래스 학습에 기여한다.
• 훈련 레이블 통계에서 유도된 동시 발생 행렬을 활용하여 HOI 클래스 간 자연스러운 상관관계와 반대 상관관계를 모델링한다.
• 공동 발생 사전지식을 사용하여 예측을 정규화하는 개선된 손실 함수를 도입하여, 특히 희귀 클래스에서의 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 동작 동시 발생 사전지식은 장기적 테일 데이터셋에서 희귀 HOI 클래스의 검출 성능을 크게 향상시킬 수 있는가?
• RQ2 공동 발생 사전지식에 기반한 계층적 분류가 표준 분류 대비 정확도와 강인성 측면에서 어떻게 비교되는가?
• RQ3 공동 발생 HOI들로부터의 지식 정복은 희귀 상호작용의 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ4 자기주의 모듈과 언어적 사전지식은 HOI 검출 성능 향상에 어떻게 기여하는가?
• RQ5 공동 발생 사전지식은 다른 인도적 편향(예: 단어 임베딩)과 효과적으로 통합되어 데이터셋 편향을 추가로 감소시킬 수 있는가?

주요 결과

• ACP++는 HICO-Det 및 V-COCO 벤치마크 데이터셋에서 최신 기술 대비 일관된 성능 향상을 달성한다.
• 훈련 샘플이 0~9개인 HOI 클래스에서 ACP++는 기준 모델 대비 mAP에서 38.24%의 상대적 향상을 기록한다.
• 15개의 앵커 동작를 사용한 계층적 아키텍처가 전체 mAP에서 최고 성능을 내지만, 10개의 앵커는 희귀 클래스에서 최고 성능을 기록한다.
• 자기주의 모듈은 전역 맥락을 통합함으로써 특징 표현을 향상시키며, 특히 희귀가 아닌 HOI 클래스에 유리하게 작용한다.
• 단어 임베딩 손실은 의미적으로 유사하지만 더 자주 발생하는 클래스로부터의 지식 전이로 인해 희귀 HOI 클래스가 더 큰 이점을 얻는다.
• 오류 예측의 주요 원인은 객체 검출기 오류, 정답 레이블 누락, 또는 부족한 맥락 모델링으로, HOI 검출에서 여전히 지속적인 과제임을 시사한다.