[논문 리뷰] Large-Scale Visual Relationship Understanding

Ji Zhang, Yannis Kalantidis외 4명|arXiv (Cornell University)|2018. 04. 27.

Multimodal Machine Learning Applications참고 문헌 44인용 수 15

한 줄 요약

이 논문은 시각적 및 의미적 특징을 공유된 공간에 동시에 통합하여 분류 능력과 의미적 유사성을 모두 유지하는 새로운 딥러닝 모델을 제안한다. 다수의 특징 융합 전략과 의미 일致성 정규화를 갖춘 대비 삼중 체인 손실을 사용함으로써, 53,000개 이상의 객체 및 29,000개 이상의 관계 카테고리가 포함된 대규모 벤치마크에서, 심한 장꼬리 분포 조건에서도 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Large scale visual understanding is challenging, as it requires a model to handle the widely-spread and imbalanced distribution of triples. In real-world scenarios with large numbers of objects and relations, some are seen very commonly while others are barely seen. We develop a new relationship detection model that embeds objects and relations into two vector spaces where both discriminative capability and semantic affinity are preserved. We learn both a visual and a semantic module that map features from the two modalities into a shared space, where matched pairs of features have to discriminate against those unmatched, but also maintain close distances to semantically similar ones. Benefiting from that, our model can achieve superior performance even when the visual entity categories scale up to more than 80,000, with extremely skewed class distribution. We demonstrate the efficacy of our model on a large and imbalanced benchmark based of Visual Genome that comprises 53,000+ objects and 29,000+ relations, a scale at which no previous work has ever been evaluated at. We show superiority of our model over carefully designed baselines on the original Visual Genome dataset with 80,000+ categories. We also show state-of-the-art performance on the VRD dataset and the scene graph dataset which is a subset of Visual Genome with 200 categories.

연구 동기 및 목표

• 80,000개 이상의 고유한 카테고리가 포함된 초대규모 장꼬리, 개방형 어휘 시각적 관계 검출 문제를 해결하기 위해.
• 극심한 클래스 불균형 조건에서도 분류 능력과 의미적 유사성을 유지하기 위해 시각-의미 임베딩 공간에서의 특징을 보존하기 위해.
• 주어, 동사, 목적어 간의 의미적 연결을 공동 특징 학습을 통해 모델링하여 희귀 관계에 대한 일반화 능력을 향상시키기 위해.
• Visual Genome(VG80k)와 같은 대규모 불균형 벤치마크 및 VRD, 스캐닝 그래프와 같은 표준 데이터셋에서의 효과성을 입증하기 위해.

제안 방법

• 주어와 목적어의 시각적 및 의미적 임베딩을 별도로 학습하는 이중 브랜치 네트워크를 도입하며, 관계 예측 이전에 다수 수준에서 특징을 융합한다.
• 일치하는 시각-의미 쌍은 가까이, 일치하지 않는 쌍은 멀리 떨어지도록 하는 대비 삼중 체인 손실을 사용하여 공유된 임베딩 공간을 구성한다.
• 동일한 레이블(예: 동일한 객체 카테고리)을 가진 시각적 특징이 가까이 위치하도록 보장하기 위해 새로운 일관성 손실 $\mathcal{L}_c$ 를 사용한다.
• 대비, 분류, 일관성 항목을 포함한 다중 작업 손실을 통합하여 시각적 및 의미적 특징을 공동 최적화한다.
• 관계 예측에 강력한 맥락적 사전 지식를 제공하기 위해 주어와 목적어 특징을 후기 연결한다.
• 사전 학습된 임베딩에 의존하는 대신, 시각적 및 의미적 표현을 공동으로 미세 조정하여 정렬 및 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 80,000개 이상의 고유한 카테고리가 포함된 초대규모에서 시각-의미 임베딩을 효과적으로 학습할 수 있는 통합 모델이 가능한가?
• RQ2 극심한 장꼬리 분포와 개방형 어휘 조건에서, 분류 능력과 의미적 유사성을 유지할 수 있는가?
• RQ3 주어와 목적어 특징의 다수 수준 융합이, 특히 희귀 또는 복잡한 관계에 대해 관계 예측 성능을 향상시키는가?
• RQ4 의미 일관성 정규화를 갖춘 대비 손실이, 극심한 장꼬리 상황에서 표준 분류 및 삼중 체인 손실 기반 모델보다 우수한 성능을 내는가?

주요 결과

• 이 모델은 이전 방법이 시험하지 못한 초대규모의 80,000개 이상의 카테고리가 포함된 Visual Genome 데이터셋에서 최신 기술 성능(SOTA)을 달성한다.
• VG80k 검증 세트에서 모델은 마진 $m=0.2$ 조건에서 상위-1 정확도 28.13%와 평균 재현율 47.48%를 기록하며, 일관성 손실 $\mathcal{L}_c$ 를 포함하지 않은 모델보다 뛰어난 성능을 보인다.
• 절단 분석 결과, 세 가지 손실($\mathcal{L}_y$, $\mathcal{L}_x$, $\mathcal{L}_c$)을 모두 사용할 경우 최고의 성능를 기록하며, $\mathcal{L}_c$ 가 시각적 특징의 구조적 일관성을 유지하는 데 핵심적임을 확인한다.
• 희귀 관계에 대해서도 잘 일반화되며, 예를 들어 "램프가 기둥 위에" 대신 "조명이 기둥 위에" 라고 예측하는 등 의미적으로 타당한 예측을 생성한다.
• 마진 $m=0.2$ 를 가진 삼중 체인 손실이 최적의 성능을 내며, 더 큰 마진은 모든 음성 예측을 동일하게 취급하기 때문에 성능 저하를 초래한다. 본 연구에서 사용된 소프트맥스 기반 대비 접근 방식과는 대비된다.
• 정성적 결과는 모델이 빈번한 카테고리뿐 아니라 희귀 카테고리에서도 상호작용적, 위치적, 특성 기반의 다양한 관계 유형을 성공적으로 포착함을 보여준다.