[논문 리뷰] Weakly-supervised learning of visual relations

Julia Peyre, Ivan Laptev외 2명|arXiv (Cornell University)|2017. 07. 29.

Multimodal Machine Learning Applications참고 문헌 49인용 수 19

한 줄 요약

이 논문은 오직 이미지 수준의 레이블만을 사용하여 객체 쌍 간의 시각적 관계를 약한 지도 학습 방식으로 학습하는 방법을 제안한다. 이는 외관과 공간적 구성 정보를 모두 포함하는 새로운 다중모달 특징 표현을 활용한다. 제안된 방법은 시각적 관계 검출에서 최고 성능을 기록하며, 훈련 중에 볼 수 없었던 관계로의 제로샷 일반화 성능이 크게 향상되었고, 희귀 삼중관계 검색을 정밀하게 평가하기 위해 UnRel 데이터셋을 도입하였다.

ABSTRACT

This paper introduces a novel approach for modeling visual relations between pairs of objects. We call relation a triplet of the form (subject, predicate, object) where the predicate is typically a preposition (eg. 'under', 'in front of') or a verb ('hold', 'ride') that links a pair of objects (subject, object). Learning such relations is challenging as the objects have different spatial configurations and appearances depending on the relation in which they occur. Another major challenge comes from the difficulty to get annotations, especially at box-level, for all possible triplets, which makes both learning and evaluation difficult. The contributions of this paper are threefold. First, we design strong yet flexible visual features that encode the appearance and spatial configuration for pairs of objects. Second, we propose a weakly-supervised discriminative clustering model to learn relations from image-level labels only. Third we introduce a new challenging dataset of unusual relations (UnRel) together with an exhaustive annotation, that enables accurate evaluation of visual relation retrieval. We show experimentally that our model results in state-of-the-art results on the visual relationship dataset significantly improving performance on previously unseen relations (zero-shot learning), and confirm this observation on our newly introduced UnRel dataset.

연구 동기 및 목표

• 상세한 박스 수준 레이블이 부족하거나 가용하지 않을 때 객체 쌍 간의 시각적 관계를 학습하는 데 도전하는 것.
• 유사한 관계 간 지식 공유를 통해 새로운 시각적 관계 삼중관계(주어-서술어-목적어)로의 제로샷 일반화를 가능하게 하는 것.
• 비용이 많이 드는 인스턴스 수준 레이블 대신 이미지 수준의 자연어 레이블 뿐만으로 관계 분류기 학습을 위한 약한 지도 학습 프레임워크를 개발하는 것.
• 희귀 시각적 관계에 대해 광범위한 레이블이 부여된 새로운 벤치마크 데이터셋 UnRel을 도입하여 검색 및 일반화 성능 평가의 정확성을 높이는 것.

제안 방법

• 이 방법은 개별 객체의 외관 특징과 객체 쌍 간의 공간적 구성 특징을 결합한 시각적 특징 표현을 사용하며, 이는 학습된 공간 변환 모듈을 통해 인코딩된다.
• 관계 분류 문제를 약한 지도 학습 문제로 설정하여, 박스 수준 레이블이 필요 없이 이미지 수준 레이블(예: '사람이 자전거 위에')만으로 선형 분류기를 훈련시킨다.
• 후보 객체 쌍에 대해 이미지 수준 지도 학습을 기반으로 의사 레이블을 할당하기 위해 분류 성능이 뛰어난 클러스터링 모델을 사용하며, 이는 엔드 투 엔드 훈련을 가능하게 한다.
• 검색 과정에서 양성 및 음성 쌍 간의 구별 능력을 향상시키기 위해 학습된 '관계 없음' 클래스를 도입한다.
• 사전 훈련된 객체 검출기(예: Faster R-CNN)에서 특징을 추출하고, 주어와 목적어의 특징에 공간적 맥락을 더하거나 연결하여 관계 특징을 형성한다.
• 시각적 삼중관계와 언어적 삼중관계가 정렬된 공동 임베딩 공간을 사용하며, 손실는 이미지 수준 레이블 기반의 대비 학습 또는 교차 엔트로피 최적화를 통해 최적화된다.

실험 결과

연구 질문

• RQ1 이미지 수준 레이블만으로 훈련된 경우, 새로운 삼중관계(제로샷 학습)로의 시각적 관계 인식이 효과적으로 일반화될 수 있는가?
• RQ2 이미지 수준 레이블만 제공될 때, 약한 지도 학습 모델이 완전히 지도 학습 기반 모델 대비 얼마나 잘 성능을 내는가?
• RQ3 제안된 다중모달 시각적 특징 표현이 다양한 공간적 및 외관 구성 조건에서 관계 검출 성능에 얼마나 기여하는가?
• RQ4 희귀 관계에 대해 광범위한 레이블이 부여된 새로운 평가 데이터셋(UnRel)이 제로샷 일반화 평가의 신뢰성 있는 벤치마크를 제공할 수 있는가?

주요 결과

• 제안된 약한 지도 학습 모델은 오직 이미지 수준 지도 학습만으로 UnRel 데이터셋에서 58.5% mAP 성능을 기록하였으며, 완전히 지도 학습된 DenseCap 기반 베이스라인(6.2%)과 재현된 [31] 기반 베이스라인(완전한 지도 학습 조건에서 50.6% mAP)보다 뚜렷이 뛰어난 성능을 보였다.
• 시각적 관계 검출 데이터셋에서, 진짜 주어 및 목적어 박스가 제공된 조건에서도 모델은 62.6% mAP 성능을 기록하여 강력한 성능을 입증하였다.
• 제로샷 일반화 성능이 향상되어, 새로운 관계에 대한 주어/목적어 검색 과제에서 12.1% mAP 성능을 기록하였으며, 완전히 지도 학습 기반 모델의 10.0% 성능을 초월하였다.
• 절단 실험 결과, '관계 없음' 클래스를 제거할 경우 mAP가 3.5% 감소함을 확인하여, 이 클래스가 분류 성능 향상에 중요한 역할을 한다는 것을 입증하였다.
• 그림 6의 정성적 결과는, 훈련 중에 이러한 삼중관계를 본 적이 없더라도 '사람이 침대 위에 있다' 또는 '콘은 사람 위에 있다'와 같은 이례적인 관계에 대해 정확한 객체 쌍을 성공적으로 검색함을 보여준다.