[논문 리뷰] Image Captioning and Visual Question Answering Based on Attributes and Their Related External Knowledge.

Qi Wu, Chunhua Shen외 3명|arXiv (Cornell University)|2016. 03. 09.

Multimodal Machine Learning Applications인용 수 33

한 줄 요약

이 논문은 CNN-RNN 아키텍처에 고수준 시각적 속성과 외부 지식을 통합하여 이미지 캡션 생성과 시각적 질의 응답을 향상시킨다. 외부 소스로부터의 구조화된 지식과 이미지 특징을 융합함으로써, 모델은 기준 데이터셋에서 성능을 향상시켜 두 과업 모두에서 최신 기술 수준의 성과를 달성한다.

ABSTRACT

Much recent progress in Vision-to-Language problems has been achieved through a combination of Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs). This approach does not explicitly represent high-level semantic concepts, but rather seeks to progress directly from image features to text. In this paper we first propose a method of incorporating high-level concepts into the successful CNN-RNN approach, and show that it achieves a significant improvement on the state-of-the-art in both image captioning and visual question answering. We further show that the same mechanism can be used to incorporate external knowledge, which is critically important for answering high level visual questions. Specifically, we design a visual question answering model that combines an internal representation of the content of an image with information extracted from a general knowledge base to answer a broad range of image-based questions. It particularly allows questions to be asked about the contents of an image, even when the image itself does not contain a complete answer. Our final model achieves the best reported results on both image captioning and visual question answering on several benchmark datasets.

연구 동기 및 목표

• 표준 CNN-RNN 모델이 고수준 의미적 개념을 포착하는 데 한계가 있음을 해결하기 위해 시각적 속성을 통합하는 것.
• 이미지에 존재하는 내용을 초월한 외부 지식을 통합하여 시각적 질의 응답 성능을 향상시키는 것.
• 답변이 이미지에 직접적으로 나타나지 않는 복잡한 시각적 질문에도 답할 수 있도록 모델을 가능하게 하는 것.
• 이미지 캡션 생성과 시각적 질의 응답에 대한 표준 기준 데이터셋에서 최신 기술 수준의 성능을 달성하는 것.
• 내부 이미지 표현과 외부 지식을 융합함으로써 시각-언어 과제에서의 추론 능력 향상이 가능함을 보여주는 것.

제안 방법

• 모델는 고수준 시각적 속성을 이미지 표현에 인코딩할 수 있는 메커니즘을 도입함으로써 CNN-RNN 아키텍처를 확장한다.
• 일반 지식 기반 시스템에서 외부 지식을 통합하여 이미지 내용에 대한 추론를 지원한다.
• 내부 시각적 특징과 외부 지식 임베딩을 결합하여 더 정보가 풍부한 캡션과 답변을 생성한다.
• 생성 과정 동안 시각적 특징과 관련 지식 구성 요소를 정렬하기 위해 공동 주의 메커니즘을 사용한다.
• 캡션 생성에 대해 교차 엔트로피 손실을, 시각적 질의 응답에 대해 다중 작업 학습을 사용하여 엔드 투 엔드로 프레임워크를 훈련시킨다.
• 이미지 내용을 기반으로 지식을 검색하고, 이를 RNN 디코더의 조건화에 활용하여 생성 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 고수준 시각적 속성을 통합함으로써 표준 CNN-RNN 모델을 초월한 이미지 캡션 생성 성능 향상이 가능한가?
• RQ2 외부 지식 기반 시스템은 특히 이미지 외부의 추론이 필요한 질문에 대해 시각적 질의 응답 성능을 향상시킬 수 있는가?
• RQ3 속성과 지식 융합을 통해 통합된 모델이 이미지 캡션 생성과 시각적 질의 응답을 얼마나 효과적으로 동시에 처리할 수 있는가?
• RQ4 외부 지식을 통합할 경우 복잡한 시각적 질문에 대한 일반화 능력이 어느 정도 향상되는가?
• RQ5 시각적 지식과 외부 지식의 융합이 기준 데이터셋에서 최신 기술 수준의 성과를 이끌어내는가?

주요 결과

• 제안된 방법은 이미지 캡션 생성과 시각적 질의 응답에 대해 여러 기준 데이터셋에서 최신 기술 수준의 성과를 달성한다.
• 고수준 시각적 속성을 통합함으로써 표준 CNN-RNN 기반 모델 대비 성능 향상이 뚜렷하게 이루어진다.
• 외부 지식 통합 덕분에 이미지에서 직접적으로 확인할 수 없는 질문에도 모델이 답할 수 있게 된다.
• 시각적 특징과 지식 기반 정보를 결합함으로써 모델은 향상된 추론 능력을 보여준다.
• BLEU, ROUGE, VQA 정확도와 같은 표준 평가 지표에서 기존 방법들을 능가하는 성능을 보인다.
• 내부 표현과 외부 표현의 융합은 더 일관되고 맥락적으로 정확한 캡션과 답변을 도출한다.