[논문 리뷰] Explain Images with Multimodal Recurrent Neural Networks

Junhua Mao, Wei Xu외 3명|arXiv (Cornell University)|2014. 10. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 369

한 줄 요약

이 논문은 이미지와 문장 생성을 동시에 모델링하기 위해 이미지의 깊이 있는 합성곱 특징과 순환 언어 모델링을 융합하는 다중모달 순환 신경망(m-RNN)을 제안한다. 이는 IAPR TC-12, Flickr 8K, Flickr 30K 데이터셋에서 이미지 캡션 생성 및 크로스모달 검색에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

In this paper, we present a multimodal Recurrent Neural Network (m-RNN) model for generating novel sentence descriptions to explain the content of images. It directly models the probability distribution of generating a word given previous words and the image. Image descriptions are generated by sampling from this distribution. The model consists of two sub-networks: a deep recurrent neural network for sentences and a deep convolutional network for images. These two sub-networks interact with each other in a multimodal layer to form the whole m-RNN model. The effectiveness of our model is validated on three benchmark datasets (IAPR TC-12, Flickr 8K, and Flickr 30K). Our model outperforms the state-of-the-art generative method. In addition, the m-RNN model can be applied to retrieval tasks for retrieving images or sentences, and achieves significant performance improvement over the state-of-the-art methods which directly optimize the ranking objective function for retrieval.

연구 동기 및 목표

• 이미지에 대한 자연어 기술을 생성하고 이미지-문장 검색을 지원하는 통합된 딥 러닝 프레임워크를 개발하는 것.
• 학습 데이터에 존재하지 않는 새로운 이미지 구성에 대해 기술을 생성할 수 없는 검색 기반 방법의 한계를 극복하는 것.
• 다중모달 순환 아키텍처를 통해 깊이 있는 컨volution 네트워크에서 추출한 시각적 특징과 순차적 언어 모델링을 통합하는 것.
• 어휘 어려움 기반 목적 함수를 사용하여 이미지 캡션 생성과 크로스모달 검색을 동시에 최적화하는 것.
• 다양한 벤치마크 데이터셋에 적용하여 모델의 일반화 능력과 확장 가능성을 입증하는 것.

제안 방법

• m-RNN 모델은 세 가지 구성 요소로 이루어져 있다: 이미지 특징 추출을 위한 깊이 있는 합성곱 신경망(CNN), 언어 모델링을 위한 순환 신경망(RNN), 시각적 및 언어적 표현을 융합하는 다중모달 융합층.
• 다중모달 레이어는 이미지 특징과 RNN의 은닉 상태 간의 상호작용을 가능하게 하여, 단어 생성을 이전 단어뿐 아니라 전체 이미지 콘텐츠에 조건화할 수 있도록 한다.
• 모델는 이미지가 주어진 진짜 캡션의 가능도를 최대화하는 어휘 어려움 기반 손실 함수를 사용하여 엔드 투 엔드로 훈련된다.
• 시간에 따른 역전파와 다중모달 간의 역전파를 통해 CNN, RNN, 다중모달 융합 가중치를 동시에 업데이트한다.
• 고정된 컨텍스트 모델(예: Log-Bilinear)과 달리, RNN의 은닉 상태를 통해 임의의 길이의 컨텍스트를 지원한다.
• 모델는 BLEU 및 어휘 어려움을 통한 이미지 캡션 생성과 R@K 및 중앙 순위를 통한 크로스모달 검색으로 평가된다.

실험 결과

연구 질문

• RQ1 분리된 모델에 비해 통합된 다중모달 RNN 아키텍처가 이미지 캡션 생성 및 크로스모달 검색 성능을 동시에 향상시킬 수 있는가?
• RQ2 언어 컨텍스트의 순환 모델링을 통합함으로써 고정 컨텍스트 또는 비순환 모델에 비해 캡션 생성 성능이 향상되는가?
• RQ3 m-RNN 모델은 훈련 데이터에 존재하지 않는 새로운 이미지 구성에 대해 새로운 기술적 캡션을 생성할 수 있는가?
• RQ4 m-RNN은 IAPR TC-12, Flickr 8K, Flickr 30K와 같은 표준 벤치마크에서 캡션 생성 및 검색 작업 모두에서 어떤 성능을 보이는가?
• RQ5 향후 확장 시 더 고급 이미지 특징(예: 객체 검출 특징)을 사용할 경우 모델가 얼마나 유리한가?

주요 결과

• IAPR TC-12 데이터셋에서 m-RNN은 이미지-문장 검색에서 20.9% R@1, 문장-이미지 검색에서 13.2% R@1을 기록하여 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• Flickr 8K에서 m-RNN은 이미지-문장 검색에서 14.5% R@1, 문장-이미지 검색에서 11.5% R@1을 기록하여 DeepFE-decaf 및 Socher-decaf와 같은 SOTA 방법을 뛰어넘었다.
• Flickr 30K에서 m-RNN은 이미지-문장 검색에서 18.4% R@1, 문장-이미지 검색에서 12.6% R@1을 기록하여 DeViSE-avg-rcnn 및 DeepFE-rcnn를 능가했다.
• 이미지 캡션 생성에서 m-RNN은 Flickr 8K에서 어휘 어려움 24.39, Flickr 30K에서 35.11을 기록하여 RNN 기준 모델(30.39 및 43.96)보다 유의미하게 낮아 언어 모델링 성능이 뛰어나다는 것을 시사한다.
• BLEU 점수에서도 높은 성능을 기록했다: Flickr 8K에서 B-1 0.5778, B-2 0.2751, B-3 0.2307이며, 기준 RNN 모델의 0.4383, 0.1849, 0.1339보다 높았다.
• 모델는 간략한 예시를 통해 새로운 이미지 구성에 대해서도 일관되고 맥락적으로 관련된 캡션을 생성하는 등 강건성과 일반화 능력을 입증했다.