[논문 리뷰] Long-tail Visual Relationship Recognition with a Visiolinguistic Hubless Loss

Sherif Abdelkarim, Panos Achlioptas외 4명|arXiv (Cornell University)|2020. 03. 25.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

이 논문은 시각적 관계에서 희귀 조합(주어, 서술어, 목적어)을 인식하기 위한 새로운 작업을 제안하며, 어휘적 유사도를 고려한 비시각적 허블리스 손실을 통해 자원이 부족한 클래스로의 일반화를 향상시킵니다. 이 방법은 WordNet과 word2vec을 통한 의미적 유사도를 활용하여 의미적으로 유사한 예측에 점수를 주며, 정확도가 높은 헤드 클래스 성능을 유지하면서 꼬리 관계에서 일관된 성능 향상을 달성합니다.

ABSTRACT

Scaling up the vocabulary and complexity of current visual understanding systems is necessary in order to bridge the gap between human and machine visual intelligence. However, a crucial impediment to this end lies in the difficulty of generalizing to data distributions that come from real-world scenarios. Typically such distributions follow Zipf's law which states that only a small portion of the collected object classes will have abundant examples (head); while most classes will contain just a few (tail). In this paper, we propose to study a novel task concerning the generalization of visual relationships that are on the distribution's tail, i.e. we investigate how to help AI systems to better recognize rare relationships like , where the subject S, predicate P, and/or the object O come from the tail of the corresponding distributions. To achieve this goal, we first introduce two large-scale visual-relationship detection benchmarks built upon the widely used Visual Genome and GQA datasets. We also propose an intuitive evaluation protocol that gives credit to classifiers who prefer concepts that are semantically close to the ground truth class according to wordNet- or word2vec-induced metrics. Finally, we introduce a visiolinguistic version of a Hubless loss which we show experimentally that it consistently encourages classifiers to be more predictive of the tail classes while still being accurate on head classes. Our code and models are available on this http URL.

연구 동기 및 목표

• 실세계 데이터에서 장꼬리 분포를 따르는 희귀 시각적 관계를 인식하는 데 도전하는 것.
• 학습 예제가 적은 객체, 서술어 또는 목적어 카테고리에 대해 일반화 성능을 향상시키는 것.
• 어휘 임베딩을 사용해 실제 레이블과 의미적으로 유사한 예측에 보상을 주는 새로운 평가 프로토콜을 개발하는 것.
• 헤드 클래스 정확도를 유지하면서 꼬리 클래스 예측 성능을 향상시키는 비시각적 허블리스 손실을 도입하는 것.
• 장꼬리 시각적 관계 검출을 위한 대규모 벤치마크 두 개를 구축하고 공개하는 것.

제안 방법

• 장꼬리 클래스 분포에 중점을 두고 Visual Genome와 GQA 데이터셋을 기반으로 두 개의 대규모 시각적 관계 검출 벤치마크를 구축합니다.
• WordNet과 word2vec을 사용해 예측된 클래스와 진짜 클래스 간의 의미적 유사도를 기반으로 점수를 부여하는 평가 프로토콜을 설계합니다.
• 언어적 사전 지식을 손실 함수에 통합하여 모델의 주의를 의미적으로 관련된 꼬리 클래스 쪽으로 이끌도록 하는 비시각적 허블리스 손실을 도입합니다.
• 단어 임베딩을 사용해 의미적으로 관련된 개념들에 대한 소프트 레이블 분포를 정의함으로써, 희귀 관계로의 일반화를 가능하게 합니다.
• 비시각적 허블리스 손실을 시각-언어 모델에 적용하여 정확한 매칭뿐만 아니라 의미적으로 유사한 관계도 예측하도록 유도합니다.
• 시각적 특징과 언어 표현 간의 정렬을 목표로 하는 대비 학습 목표를 적용하여, 제로샷 및 피셔샷 일반화 성능을 향상시킵니다.

실험 결과

연구 질문

• RQ1 비시각적 허블리스 손실 함수가 헤드 클래스 정확도를 떨어뜨리지 않고 장꼬리 시각적 관계 인식 성능을 향상시킬 수 있는가?
• RQ2 WordNet과 word2vec을 통한 의미적 유사도가 희귀 관계에 대해 올바른 예측을 유도하는 데 얼마나 효과적인가?
• RQ3 수정된 허블리스 손실이 시각적 관계 검출에서 꼬리 클래스로의 일반화를 얼마나 잘 장려하는가?
• RQ4 제안된 평가 프로토콜이 표준 정확도 지표에 비해 실제 세계의 일반화를 더 잘 반영하는가?
• RQ5 손실 함수에 언어적 사전 지식을 통합할 경우, 피셔샷 및 제로샷 시각적 관계 인식에 어떤 영향을 미치는가?

주요 결과

• 비시각적 허블리스 손실은 헤드 클래스 정확도를 유지하면서 꼬리 클래스 시각적 관계 검출에서 일관된 성능 향상을 달성합니다.
• 제안된 평가 프로토콜은 정확한 매칭이 아니더라도 의미적으로 관련된 개념을 예측한 모델에 효과적으로 보상을 줍니다.
• 비시각적 허블리스 손실로 훈련된 모델은 특히 피셔샷 및 제로샷 설정에서 희귀 관계로의 일반화 성능이 뛰어납니다.
• word2vec과 WordNet 임베딩의 사용은 의미 있는 인덕티브 바이어스를 제공함으로써 장꼬리 관계에서의 모델 성능을 크게 향상시킵니다.
• Visual Genome와 GQA 기반의 두 새로운 벤치마크는 장꼬리 시각적 관계 인식에 대해 현실적이고 확장 가능한 테스트베드를 제공합니다.
• 제거 실험을 통해 손실의 언어적 구성 요소가 꼬리 일반화에 필수적임을 확인하였으며, 자원이 부족한 환경에서 기존의 교차 엔트로피 손실보다 뛰어난 성능을 발휘합니다.