[논문 리뷰] Learning to Disambiguate by Asking Discriminative Questions

Yining Li, Chen Huang외 2명|arXiv (Cornell University)|2017. 08. 09.

Multimodal Machine Learning Applications참고 문헌 49인용 수 4

한 줄 요약

이 논문은 두 시각적으로 유사한 이미지 간의 오해를 제거하기 위해 질문을 생성하는 새로운 작업인 시각적 구분 질문 생성(Visual Discriminative Question Generation, VDQG)을 소개한다. 이 작업은 점수 함수를 통해 식별된 구분 특성에 조건이 되는 LSTM 기반 모델을 제안하며, VQA 데이터셋을 약한 지도 학습 방식으로 사용하여 훈련하며, 10,000개 이상의 이미지 쌍과 100,000개의 질문을 포함하는 새로운 대규모 VDQG 데이터셋에서 뛰어난 성능을 달성한다.

ABSTRACT

The ability to ask questions is a powerful tool to gather information in order to learn about the world and resolve ambiguities. In this paper, we explore a novel problem of generating discriminative questions to help disambiguate visual instances. Our work can be seen as a complement and new extension to the rich research studies on image captioning and question answering. We introduce the first large-scale dataset with over 10,000 carefully annotated images-question tuples to facilitate benchmarking. In particular, each tuple consists of a pair of images and 4.6 discriminative questions (as positive samples) and 5.9 non-discriminative questions (as negative samples) on average. In addition, we present an effective method for visual discriminative question generation. The method can be trained in a weakly supervised manner without discriminative images-question tuples but just existing visual question answering datasets. Promising results are shown against representative baselines through quantitative evaluations and user studies.

연구 동기 및 목표

• 두 이미지 인스턴스 간의 시각적 모호성을 해결하는 데 목적이 있는 공식화된 작업이 부족한 문제를 해결하기 위해.
• 기존 VQA 데이터셋의 약한 지도 신호를 활용하여, 구분 질문 생성을 위한 훈련 데이터 부족 문제를 해결하기 위해.
• 이미지 쌍 간의 가장 두드러진 시각적 특성을 식별함으로써 자연스럽고 객체 중심이며 구분 가능한 질문을 생성하는 방법을 개발하기 위해.
• 10,000개 이상의 이미지-질문 튜플과 양성/음성 질문 샘플을 포함한 인간이 애너테이션한 대규모 데이터셋을 통해 VDQG의 벤치마크를 설정하기 위해.

제안 방법

• 딥 컨volution 네트워크에서 추출한 시각적 특성에 조건이 되는 LSTM 기반의 시퀀스 생성기로 자연어 질문을 생성한다.
• 노이즈가 있는 특성 예측에서 두 이미지 인스턴스 간의 가장 두드러진 특성을 식별하기 위해 구분 점수 함수를 적용한다.
• 직접 쌍으로 묶인 이미지-질문 애너테이션을 필요로 하지 않고, Visual Genome 데이터셋에서 질문-답변 쌍을 추출하여 약한 지도 학습 방식으로 모델을 훈련한다.
• 가장 높은 점수를 받는 구분 특성에 조건을 주어 생성 공간을 제약하고 관련성과 구분 능력을 향상시킨다.
• 더 나은 성능을 위해 검색 기반 지도 신호와 인간 애너테이션 질문 데이터를 조합하여 모델을 엔드 투 엔드로 미세조정한다.
• 자동 평가 지표(BLEU, METEOR)와 인간 평가를 모두 사용하는 새로운 평가 프로토콜을 도입하여 질문 품질과 구분 효과성을 평가한다.

실험 결과

연구 질문

• RQ1 모델은 두 시각적으로 모호한 이미지를 효과적으로 구분할 수 있는 자연스럽고 구분 가능한 질문을 생성할 수 있는가?
• RQ2 대규모 쌍으로 묶인 이미지 데이터셋과 명시적인 질문 애너테이션을 요구하지 않고, 구분 질문 생성을 어떻게 훈련할 수 있는가?
• RQ3 어떤 시각적 특성이 모델이 개체 간의 모호성을 해결하는 데 도움이 되는 질문을 생성하는 데 가장 효과적인가?
• RQ4 사람이 수행하는 구분 작업에서, 구분 질문 생성의 성능는 참조 표현 생성과 비교해 어떻게 되는가?
• RQ5 VQA 데이터에서 유도된 약한 지도 사전 훈련 신호가 생성된 구분 질문의 품질을 얼마나 향상시키는가?

주요 결과

• 제안된 ACQG full 모델은 VDQG 하드 서브셋에서 BLEU 점수 40.6과 METEOR 점수 39.7을 기록하여 CNN-LSTM 및 검색 기반 방법과 같은 강력한 베이스라인을 초월한다.
• 인간이 애너테이션한 질문(Human top)은 무작위 인간 애너테이션(Human random)보다 일관되게 뛰어나며, VDQG 데이터셋의 품질과 구분 의도의 타당성을 입증한다.
• 사용자 연구에서 ACQG full 모델은 CNN-LSTM 및 검색 기반 베이스라인보다 이미지 쌍을 구분하는 데 뚜렷한 우위를 보였으며, 특히 하드 샘플에서 더 두드러진 성능 향상을 보였다.
• 직접 쌍으로 묶인 이미지 지도 없이 VQA 데이터에서 유도된 약한 지도 신호를 사용해 훈련한 모델도 경쟁 가능한 성능을 달성하여, 전체 쌍으로 묶인 지도 신호 없이도 VDQG를 학습할 수 있음을 보여준다.
• 조건부 특성과 함께 제공된 구분 질문은 인간의 구분 작업에서 평균 검색 정확도 69.51%를 기록하며, 참조 표현(65.14%)을 능가하여 상호 보완적인 강점을 보였다.
• 결과적으로 구분 질문과 참조 표현은 서로 다른 경우에 실패하므로, 둘을 함께 사용하여 시각적 구분 능력을 향상시킬 수 있음을 시사한다.