[논문 리뷰] Multimodal Differential Network for Visual Question Generation

Badri N. Patro, Sandeep Kumar외 2명|arXiv (Cornell University)|2018. 08. 12.

Multimodal Machine Learning Applications참고 문헌 51인용 수 4

한 줄 요약

이 논문은 시각적-언어적 맥락을 더욱 은밀하고 미분 가능한 임베딩으로 포착하기 위해 예시(지원 이미지, 반대 이미지, 캡션, 태그)를 활용하는 다중모달 차별망(MDN)을 제안한다. 이 방법은 표준 벤치마크(BLEU, METEOR, ROUGE, CIDEr)에서 최신 기술을 크게 능가하며, CIDEr 점수에서 최대 34.4% 향상되었고, 사용자 연구를 통해 인간이 생성한 질문과 유사한 질문을 생성한다.

ABSTRACT

Generating natural questions from an image is a semantic task that requires using visual and language modality to learn multimodal representations. Images can have multiple visual and language contexts that are relevant for generating questions namely places, captions, and tags. In this paper, we propose the use of exemplars for obtaining the relevant context. We obtain this by using a Multimodal Differential Network to produce natural and engaging questions. The generated questions show a remarkable similarity to the natural questions as validated by a human study. Further, we observe that the proposed approach substantially improves over state-of-the-art benchmarks on the quantitative metrics (BLEU, METEOR, ROUGE, and CIDEr).

연구 동기 및 목표

• 이미지에서 자연스럽고 인간처럼 들리는 질문을 생성하는 데 도전하며, 동적이고 맥락에 민감한 시각-언어적 표현을 모델링하기 위해.
• 정적 또는 명시적인 신호에 의존하는 대신, 다중모달 예시(지원 및 반대 이미지, 캡션, 태그)를 통합하여 시각적 질문 생성을 향상시키기 위해.
• 엔드 투 엔드 훈련과 맥락 모델링을 통한 역전파를 가능하게 하는 미분 가능한 프레임워크를 개발하기 위해.
• 명시적 키워드 기반 맥락보다 은밀한 차별 맥락이 질문의 매력성과 맥락 적합성 향상에 얼마나 효과적인지 검증하기 위해.

제안 방법

• 목표 이미지와 관련된(지원) 및 관련이 없는(반대) 예시를 비교함으로써 임베딩을 학습하는 다중모달 차별망(MDN)을 사용한다.
• 대조 학습 기법을 적용하여, 특징 수준의 차이를 이용해 관련 및 비관련 시각-언어적 맥락을 구분하도록 네트워크를 학습시킨다.
• 이미지 특징, 캡션, 품사 태그(명사, 동사, WH-어휘) 등의 다양한 맥락 유형을 통합된 임베딩 공간에 통합한다.
• 해다드 곱, 요소별 덧셈 또는 주의 기반 융합을 통해 이미지 및 텍스트 특징을 융합하며, 주의 메커니즘은 컨볼루션 특징에 대해 소프트 주의 방식으로 학습된다.
• 다중모달 임베딩을 피팅하기 위해 1D 컨볼루션 레이어 또는 연결을 사용하여 융합한 후, 질문 디코더에 입력한다.
• 기본 인코더-디코더 아키텍처를 사용하며, 이미지 인코더는 VGG-19를, 디코더는 LSTM 또는 유사한 RNN을 사용하며, 학습된 차별 맥락에 따라 조건화된다.

실험 결과

연구 질문

• RQ1 예시에서 유도된 은밀한 차별 임베딩이 명시적 키워드 기반 맥락보다 자연스럽고 관련성이 높은 질문 생성에 유리한가?
• RQ2 캡션, 태그, 위치 등의 다양한 맥락 유형을 통합할 경우, 시각적 질문 생성의 품질에 어떤 영향을 미치는가?
• RQ3 지원 및 반대 예시를 사용함으로써 엔드 투 엔드 훈련에서 최적화 및 일반화 성능이 향상되는가?
• RQ4 제안된 MDN이 표준 평가 지표(BLEU, METEOR, ROUGE, CIDEr) 및 인간 평가에서 기존 최신 기술 모델을 얼마나 뛰어넘는가?
• RQ5 융합 전략(Hadamard, 덧셈, 연결, 주의) 중 어느 것이 질문 생성을 위한 다중모달 표현에 가장 효과적인가?

주요 결과

• 3개의 WH-어휘를 맥락으로 사용하고 연결 융합 방식을 적용할 경우, 기본 이미지 전용 모델 대비 CIDEr 점수에서 34.4% 향상된 성능을 기록한다.
• 3개의 명사를 맥락으로 사용할 경우 기본 이미지 모델 대비 BLEU 점수는 1.6% 향상되고 METEOR는 2% 향상되며, 3개의 동사를 사용할 경우 BLEU는 1.3% 향상되고 METEOR는 2.1% 향상된다.
• 연결 기반 융합 모델은 CIDEr를 포함한 모든 지표에서 해다드 곱 및 덧셈 방법을 능가하며, 다중모달 상호작용을 더 잘 포착함을 시사한다.
• K=4 예시(4개의 지원 및 4개의 반대 이미지)를 사용한 모델이 가장 높은 성능을 기록하여, 더 풍부한 대조 맥락이 일반화 성능 향상에 기여함을 보여준다.
• 사용자 평가 결과, 생성된 질문이 인간이 애너테이션한 질문과 80% 비율로 구별되지 않아 자연스럽고 몰입감 있는 질문 생성 능력을 입증한다.
• 통계적 유의성 검정을 통해 기준 모델 대비 성능 향상이 우연의 결과가 아니며 안정적임을 확인한다.