[논문 리뷰] Novel Human-Object Interaction Detection via Adversarial Domain Generalization

Yuhang Song, Wenbo Li외 7명|arXiv (Cornell University)|2020. 05. 22.

Multimodal Machine Learning Applications참고 문헌 44인용 수 5

한 줄 요약

이 논문은 테스트 시 훈련 중에 볼 수 없었던 술어-객체 조합을 가진 새로운 인간-객체 상호작용(HOI) 검출에서 제로샷 일반화를 향상시키기 위해 적대적 도메인 일반화 프레임워크를 제안한다. 조건부 및 무조건적 도메인 일반화를 통해 객체 불변 특징을 학습함으로써, 새로운 HICO-DET 스플릿에서 최대 50% 향상된 성능을 기록하고 UnRel에서 최대 125% 향상된 성능을 달성하여, 볼 수 없는 HOI 삼중항을 검출하는 데 있어 기존의 기준들보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

We study in this paper the problem of novel human-object interaction (HOI) detection, aiming at improving the generalization ability of the model to unseen scenarios. The challenge mainly stems from the large compositional space of objects and predicates, which leads to the lack of sufficient training data for all the object-predicate combinations. As a result, most existing HOI methods heavily rely on object priors and can hardly generalize to unseen combinations. To tackle this problem, we propose a unified framework of adversarial domain generalization to learn object-invariant features for predicate prediction. To measure the performance improvement, we create a new split of the HICO-DET dataset, where the HOIs in the test set are all unseen triplet categories in the training set. Our experiments show that the proposed framework significantly increases the performance by up to 50% on the new split of HICO-DET dataset and up to 125% on the UnRel dataset for auxiliary evaluation in detecting novel HOIs.

연구 동기 및 목표

• 오랜 꼬리 분포와 객체-술어 쌍의 조합 폭발로 인해 발생하는 새로운 인간-객체 상호작용(HOI) 삼중항 조합으로의 일반화 문제를 해결하기 위해.
• 기존의 HOI 검출기들이 빈도 우선순위에 의존하는 것을 줄이기 위해, 술어 분류를 위한 객체 불변 특징을 학습하기 위해.
• 훈련 시에 전혀 볼 수 없었던 테스트 삼중항을 포함한 HICO-DET의 새로운 벤치마크 스플릿과 UnRel에서 유도된 보조 평가 세트를 만들기 위해.
• 기존의 HOI 모델에 통합될 수 있는 통합된 적대적 도메인 일반화 프레임워크를 개발하기 위해.

제안 방법

• 다양한 객체 카테고리 간 도메인 이탈을 최소화함으로써, 술어 예측을 위한 객체 불변 특징을 학습하는 통합된 적대적 도메인 일반화(ADG) 프레임워크를 제안한다.
• 조건부 및 무조건적 ADG의 두 변형을 설계한다: 조건부인 CADG(conditional)와 무조건적 ADG(unconditional)이며, 후자는 객체 특징에 명시적으로 조건을 두어 특징의 분리도를 향상시킨다.
• 세 개의 브랜치로 구성된 특징 추출 헤드를 도입한다: 인간 박스(H), 공간(Sp), 유니온 박스(U)이며, 유니온 박스 브랜치는 인간-객체 상호작용 특징을 포괄한다.
• 객체 카테고리 간 도메인 불변 특징을 유도하기 위해 도메인 구분자(discriminator)를 사용하여 적대적 훈련을 통해 도메인 일반화를 적용한다.
• 도메인 정렬 손실로 쿨백-라이블러(KLD) 및 젠슨-쇼너(JSD) 발산을 사용하여 도메인 간 특징 분포를 최적화한다.
• Grad-CAM 시각화를 통해 주의 맵을 분석하고, 모델이 사소한 신호가 아닌 상호작용 관련 영역에 집중하는지 검증한다.

실험 결과

연구 질문

• RQ1 적대적 도메인 일반화가 제로샷 환경에서 볼 수 없는 인간-객체 상호작용 삼중항 조합으로의 일반화를 효과적으로 향상시킬 수 있는가?
• RQ2 조건부 도메인 일반화(CADG)가 무조건적 ADG에 비해 객체 불변 특징을 학습하는 데 있어 어떤가?
• RQ3 제안된 프레임워크는 빈도 우선순위에 대한 의존도를 어느 정도 줄이고, 장꼬리 및 새로운 HOI 검출 성능을 얼마나 향상시키는가?
• RQ4 적대적 도메인 일반화를 적용한 후 모델의 주의 맵은 어떻게 변화하며, 인간 상호작용 영역과 일치하는가?
• RQ5 테스트 삼중항이 훈련 시에 전혀 존재하지 않는 새로운 벤치마크는 제로샷 HOI 일반화 평가에 의미 있는가?

주요 결과

• 제안된 CADG-JSD 방법은 기준 모델 대비 새로운 HICO-DET 테스트 스플릿에서 R@1에 대해 95.4%의 상대적 향상을 기록하였으며, 최종 R@1은 43.47을 달성하였다.
• UnRel 데이터셋에서 CADG-JSD 모델은 R@1에 대해 95.4%의 상대적 향상을 기록하여, 이국적이고 볼 수 없는 장면에서도 강력한 제로샷 일반화 성능을 보였다.
• CADG-KLD 및 CADG-JSD 모델은 유니온 박스 브랜치에서 60~100% 향상된 성능를 보이며, 상호작용 인식 특징의 효과적인 학습을 확인하였다.
• Grad-CAM 시각화 결과, CADG 모델은 손-객체 접촉과 같은 올바른 상호작용 영역에 주의를 기울이는 반면, 기준 모델은 눈과 같은 관련 없는 신체 부위에 집중하는 것으로 확인되었다.
• 제거 분석 결과, 조건부 ADG(CADG)가 무조건적 ADG(ADG)보다 뚜렷이 뛰어난 성능을 보이며, 객체 특징에 대한 명시적 조건이 특징 분리도를 향상시킨다는 것이 입증되었다.
• HICO-DET의 새로운 벤치마크 스플릿과 UnRel 평가 세트는 볼 수 없는 삼중항 조합을 효과적으로 분리하여, 일반화 성능에 대한 신뢰할 수 있는 제로샷 평가를 가능하게 하였다.