[논문 리뷰] Visual Referring Expression Recognition: What Do Systems Actually Learn?

Volkan Cirik, Louis–Philippe Morency외 1명|arXiv (Cornell University)|2018. 05. 30.

Multimodal Machine Learning Applications참고 문헌 29인용 수 6

한 줄 요약

이 논문은 최신 참조 표현 인식(RER) 모델이 언어적 구조를 진정으로 이해하는지, 아니면 데이터셋 편향에 의존하는지 조사한다. 참조 표현을 무시하거나 부분적으로 사용하는 단순한 신경 체질(신경 체질)을 도입함으로써, 저자들은 언어적 입력을 사용하지 않더라도 84.2%의 상위 2개 정밀도를 달성함을 보여주며, 성능이 언어 기반 이해가 아니라 데이터 내 얕은 상관관계에서 기인할 수 있음을 시사한다.

ABSTRACT

We present an empirical analysis of the state-of-the-art systems for referring expression recognition -- the task of identifying the object in an image referred to by a natural language expression -- with the goal of gaining insight into how these systems reason about language and vision. Surprisingly, we find strong evidence that even sophisticated and linguistically-motivated models for this task may ignore the linguistic structure, instead relying on shallow correlations introduced by unintended biases in the data selection and annotation process. For example, we show that a system trained and tested on the input image $ extit{without the input referring expression}$ can achieve a precision of 71.2% in top-2 predictions. Furthermore, a system that predicts only the object category given the input can achieve a precision of 84.2% in top-2 predictions. These surprisingly positive results for what should be deficient prediction scenarios suggest that careful analysis of what our models are learning -- and further, how our data is constructed -- is critical as we seek to make substantive progress on grounded language tasks.

연구 동기 및 목표

• 최신 SOTA RER 모델이 실제로 언어적 구조를 활용하는지, 아니면 데이터셋 편향을 악용하는지 조사하기 위해.
• 참조 표현의 변형(예: 단어 순서 뒤섞기, 어휘 카테고리 제거)에 대한 RER 모델의 강건성 평가하기.
• 참조 표현을 무시하거나 부분적으로 사용하는 간단한 기초 모델(신경 체질) 개발하여 복잡한 모델이 악용할 수 있는 데이터 내 얕은 상관관계 드러내기.
• 지능형 언어 작업에서 데이터셋 및 모델 분석의 중요성을 강조하여, 진전이 진정한 이해에 기반하는지가 아니라 우연한 상관관계에 기반하는지 확인하기.

제안 방법

• 두 가지 간단한 신경 체질 모델 제안: 체질 I은 참조 표현을 무시하고 카테고리 빈도에 따라 객체를 필터링함; 체질 II는 참조 표현에서 객체 카테고리를 예측함.
• 체질 I과 체질 II를 조합한 파이프라인을 통해 후보 객체 집합을 2개 이하로 줄임.
• 편향 실험 적용: 단어 순서 뒤섞기, 단어를 명사와 형용사로 제한, 참조 표현을 완전히 제거.
• Google-Ref 데이터셋에서 SGD와 L2 정규화를 사용해 공동 표현을 학습하고, 정밀도@k 지표를 사용해 SOTA 모델(CMN 및 LSTM+CNN-MIL 등)과 비교하여 훈련 및 평가.
• Faster R-CNN 특징과 GloVe 임베딩 사용; 텍스트 및 박스 특징의 요소별 곱셈을 통한 공동 표현 구현 후, 시그모이드 점수를 통해 객체 위치 추정.
• 텍스트 및 박스 특징의 요소별 곱셈을 통한 공동 표현 구현 후, 시그모이드 점수를 통해 객체 위치 추정.

실험 결과

연구 질문

• RQ1 최신 SOTA RER 모델이 얕은 시각적 또는 카테고리 기반 상관관계에 비해 언어적 구조에 얼마나 의존하는가?
• RQ2 단어 순서 뒤섞기나 어휘 카테고리 제한과 같은 편향에 대해 RER 모델의 강건성은 어떠한가?
• RQ3 참조 표현을 무시하거나 부분적으로 사용하는 단순한 모델이 높은 성능을 달성할 수 있는가? 이는 데이터셋 내 악용 가능한 편향을 시사하는가?
• RQ4 SOTA 모델의 정확한 예측 중 얼마나 많은 비율이 언어적 추론이 아니라 객체 카테고리 빈도에 기인하는가?
• RQ5 간단한 신경 체질 파이프라인을 통해 참조 표현을 사용하지 않고도 복잡한 모델의 성능을 재현할 수 있는가?

주요 결과

• 참조 표현을 사용하지 않고 훈련한 시스템이 상위 2개 예측에서 71.2%의 정밀도를 기록하여, 시각적 및 카테고리 기반 신호에 강하게 의존하고 있음을 시사함.
• 참조 표현에서 객체 카테고리만 예측하는 시스템이 상위 2개 예측에서 84.2%의 정밀도를 기록하여, 카테고리 수준의 정보만으로도 매우 예측 가능함을 보여줌.
• 신경 체질 I(카테고리 필터링)와 체질 II(카테고리 예측)를 조합한 결과, 상위 2개 예측에서 84.2%의 정밀도, 상위 3개 예측에서 95.3%의 정밀도를 달성함.
• 단어 순서를 뒤섞거나 단어를 명사와 형용사로 제한한 후에도 최신 SOTA 모델이 높은 성능을 유지함으로써, 문법적 구조를 거의 사용하지 않는다는 점을 시사함.
• 결과적으로 많은 SOTA RER 모델이 진정한 언어-시각 기반 통합이 아니라 데이터 내 얕은 상관관계를 학습하고 있을 가능성이 있음.
• 오직 객체 카테고리 통계와 이미지 특징만으로도 상당한 성능을 달성할 수 있음을 입증하며, 현재 평가 지표와 데이터셋 편향의 타당성에 대한 우려를 제기함.