[논문 리뷰] Natural Language Guided Visual Relationship Detection

Wentong Liao, Shuai Lin외 2명|arXiv (Cornell University)|2017. 11. 16.

Multimodal Machine Learning Applications참고 문헌 34인용 수 23

한 줄 요약

이 논문은 자연어 사전 지식을 활용하여 객체 쌍 간의 의미 관계를 예측하는 자연어 유도 시각적 관계 검출 프레임워크를 제안한다. 이는 이방향 순환 신경망(BRNN)을 활용하여 언어 기반 사전 지식을 통합한다. 의미 관계를 언어 임bedding 기반으로 모델링함으로써, 특히 제로샷 일반화에서 최신 기술 수준(SOTA) 성능을 달성하며, VRD 제로샷 테스트 세트에서 재현율을 76.42%에서 89.79%로 향상시켰다.

ABSTRACT

Reasoning about the relationships between object pairs in images is a crucial task for holistic scene understanding. Most of the existing works treat this task as a pure visual classification task: each type of relationship or phrase is classified as a relation category based on the extracted visual features. However, each kind of relationships has a wide variety of object combination and each pair of objects has diverse interactions. Obtaining sufficient training samples for all possible relationship categories is difficult and expensive. In this work, we propose a natural language guided framework to tackle this problem. We propose to use a generic bi-directional recurrent neural network to predict the semantic connection between the participating objects in the relationship from the aspect of natural language. The proposed simple method achieves the state-of-the-art on the Visual Relationship Detection (VRD) and Visual Genome datasets, especially when predicting unseen relationships (e.g. recall improved from 76.42% to 89.79% on VRD zero-shot testing set).

연구 동기 및 목표

• 자연어에서 유도된 의미 사전 지식을 활용하여 시각적 관계 검출에서 장꼬리 문제를 해결한다.
• 객체 카테고리 간의 의미적 연결을 모델링하여 생소한 관계로의 일반화를 향상시킨다.
• 순수한 시각 분류나 독립적인 객체-관계 검출의 한계를 극복하기 위해 언어 기반 추론을 통합한다.
• 빈번한 관계에서 희귀 관계로 지식을 전이함으로써, 훈련 데이터의 일부분만으로도 수천 가지의 관계 유형을 탐지할 수 있도록 한다.

제안 방법

• 이중 방향 순환 신경망(BRNN)이 시각적 특징과 언어 임베딩을 기반으로 두 개의 검출된 객체 간의 서술어를 예측하도록 훈련된다.
• 모델은 객체 카테고리 간의 의미 관계를 인코딩하기 위해 단어 임베딩을 사용하며, 유사한 객체 카테고리(예: '말'과 '코끼리')가 유사한 관계 패턴을 공유한다는 사실을 활용한다.
• Faster R-CNN 검출기에서 추출한 시각적 특징, 객체 카테고리 임베딩, 공간 정보(예: 바운딩 박스 좌표)가 BRNN의 입력으로 조합된다.
• 모델은 SGD와 기울기 클리핑을 사용하여 엔드 투 엔드로 훈련되며, 객체 검출과 서술어 예측이 공동 최적화되는 다중 작업 설정을 사용한다.
• 언어 공간 내의 의미 유사도를 활용하여 기존 관계에서 생소한 관계로 일반화함으로써 제로샷 추론을 가능하게 한다.
• 모델은 Visual Genome 및 VRD 데이터셋에서 평가되며, 볼 수 있는 관계와 볼 수 없는 관계 모두에 대해 재현율과 정밀도로 성능을 측정한다.

실험 결과

연구 질문

• RQ1 자연어 사전 지식은 시각적 관계 검출에서 제로샷 일반화를 향상시키는 데 효과적인가?
• RQ2 객체 카테고리 간의 의미 관계는 희귀하거나 생소한 관계를 추론하는 데 얼마나 효과적으로 활용될 수 있는가?
• RQ3 언어 임베딩를 통합한 BRNN를 통해 서술어를 모델링하는 방법이 장꼬리 데이터셋에서 기존의 분류 기반 접근법보다 우수한가?
• RQ4 시각-의미 정렬은 '타고 있는'과 '앉아 있는' 같은 동일한 객체에 대해 맥락에 따라 달라지는 복잡한 관계를 탐지하는 데 얼마나 기여하는가?

주요 결과

• 제안된 방법은 Visual Genome 및 VRD 데이터셋 모두에서 최신 기술 수준 성능을 달성하며, 특히 제로샷 학습에서 뛰어난 성능을 보였다.
• VRD 제로샷 테스트 세트에서 재현율이 76.42%에서 89.79%로 향상되어 생소한 관계로의 강력한 일반화 능력을 입증했다.
• 모델은 유형별 서술어 분류 정확도가 매우 높았으며, '입고 있는'(99.59%) 및 '위에 있는'(99.39%)과 같은 상위 서술어는 Rec@5 기준 거의 완벽한 점수를 기록했다.
• 어휘 임베딩 내의 의미 유사도를 활용하여 빈번한 관계에서 희귀 관계로 지식을 효과적으로 전이했다.
• 정성적 결과는 모델이 객체 카테고리와 맥락을 기반으로 '앉아 있는'과 '타고 있는' 같은 관계를 정확히 추론하며 잘못된 유추를 피하는 것으로 나타났다.
• 모델은 객체 검출기의 오류에 대해 강건했으며, 대부분의 누락 탐지 원인은 검출 성능의 문제였고, 서술어 예측 실패 때문이 아니었다.