[논문 리뷰] What value high level concepts in vision to language problems

Qi Wu, Chunhua Shen외 3명|arXiv (Cornell University)|2015. 06. 03.

Multimodal Machine Learning Applications참고 문헌 60인용 수 3

한 줄 요약

이 논문은 시각-언어 작업을 위한 CNN-RNN 프레임워크에 고수준의 의미적 개념을 통합하여 이미지 캡션 생성과 시각적 질의 응답 성능을 향상시킨다. 의미적 개념을 명시적으로 모델링함으로써, 이 방법은 최신 기술 수준의 성능을 달성하고 외부 의미 지식이 정확도를 추가로 향상시킬 수 있음을 보여준다.

ABSTRACT

Much of the recent progress in Vision-to-Language (V2L) problems has been achieved through a combination of Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs). This approach does not explicitly represent high-level semantic concepts, but rather seeks to progress directly from image features to text. We propose here a method of incorporating high-level concepts into the very successful CNN-RNN approach, and show that it achieves a significant improvement on the state-of-the-art performance in both image captioning and visual question answering. We also show that the same mechanism can be used to introduce external semantic information and that doing so further improves performance. In doing so we provide an analysis of the value of high level semantic information in V2L problems.

연구 동기 및 목표

• 고수준의 의미적 개념을 통합함으로써 시각-언어 작업 성능이 향상되는지 조사하는 것.
• 기존의 CNN-RNN 아키텍처에 의미적 개념을 통합하는 방법을 개발하는 것.
• 이미지 캡션 생성과 시각적 질의 응답에서 외부 의미 정보가 모델 성능에 미치는 영향을 평가하는 것.
• 시각과 언어 이해를 연결하는 데 있어 고수준 의미 표현의 가치를 분석하는 것.

제안 방법

• 이 방법은 시각적 특징 공간 내에서 고수준 의미적 개념을 명시적으로 표현할 수 있는 메커니즘을 도입함으로써 CNN-RNN 프레임워크를 확장한다.
• 고수준의 개념은 RNN의 디코딩 단계 동안 추가 입력 특징으로 통합되어 모델이 의미적 속성에 대해 추론할 수 있도록 한다.
• 사전 훈련된 모델이나 지식 기반 시스템에서 온 개념 임베딩과 같은 외부 의미 지식의 통합이 가능하다.
• 캡션 생성과 VQA에 대한 표준 손실 함수를 사용하여 엔드 투 엔드로 모델을 훈련시키며, 개념 예측에 추가로 감독 신호를 제공한다.
• 의미적 개념은 전용 분류기를 통해 이미지 특징에서 예측되고, 언어 디코더에 피드포워드된다.
• 이 프레임워크는 의미적 개념의 제로샷 및 파인튜닝 통합을 모두 지원하여 다양한 데이터셋에서의 융통성 있는 활용이 가능하다.

실험 결과

연구 질문

• RQ1 고수준 의미적 개념의 통합이 이미지 캡션 생성과 시각적 질의 응답 성능에 어떤 영향을 미치는가?
• RQ2 학습된 개념과 함께 외부 의미 지식을 통합할 경우 성능 향상이 추가로 이루어지는가?
• RQ3 직접적인 이미지-텍스트 매핑과 비교해 볼 때 명시적인 의미적 개념 모델링의 상대적 기여는 어떠한가?
• RQ4 희귀하거나 도메인 외의 개념에 적용했을 때 이 방법의 탄력성은 어떠한가?

주요 결과

• 고수준 의미적 개념을 통합하면 이미지 캡션 생성과 시각적 질의 응답 성능에 상당한 향상이 이루어진다.
• 이 방법은 두 작업 모두에 대해 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 학습된 개념과 함께 외부 의미 정보를 통합하면 기본 모델보다 성능 향상이 더욱 뚜렷하게 향상된다.
• 희귀하거나 복잡한 시각적 개념에서 특히 일반화 능력이 향상됨을 보여준다.