[논문 리뷰] Deep Captioning with Multimodal Recurrent Neural Networks (m-RNN)

Junhua Mao, Wei Xu외 4명|arXiv (Cornell University)|2014. 12. 20.

Multimodal Machine Learning Applications참고 문헌 39인용 수 649

한 줄 요약

이 논문은 이미지와 문장 표현을 동시에 모델링하기 위해 이미지에 대해 깊이 있는 합성곱 신경망(CNN)과 텍스트에 대해 깊이 있는 순환 신경망(RNN)을 사용하는 다중모달 복합 순환 신경망(m-RNN)을 제안한다. 또한 다중모달 융합층을 통해 엔드 투 엔드 학습을 가능하게 한다. 이 모델은 네 가지 기준 데이터셋에서 이미지 캡션 생성 및 검색 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 생성 및 검색 정확도 모두에서 이전 방법들보다 뚜렷이 뛰어나다.

ABSTRACT

In this paper, we present a multimodal Recurrent Neural Network (m-RNN) model for generating novel image captions. It directly models the probability distribution of generating a word given previous words and an image. Image captions are generated by sampling from this distribution. The model consists of two sub-networks: a deep recurrent neural network for sentences and a deep convolutional network for images. These two sub-networks interact with each other in a multimodal layer to form the whole m-RNN model. The effectiveness of our model is validated on four benchmark datasets (IAPR TC-12, Flickr 8K, Flickr 30K and MS COCO). Our model outperforms the state-of-the-art methods. In addition, we apply the m-RNN model to retrieval tasks for retrieving images or sentences, and achieves significant performance improvement over the state-of-the-art methods which directly optimize the ranking objective function for retrieval. The project page of this work is: www.stat.ucla.edu/~junhua.mao/m-RNN.html .

연구 동기 및 목표

• 검색 기반 방법을 초월하여 새로운, 기술적인 이미지 캡션을 생성할 수 있는 통합된 딥 러닝 프레임워크를 개발하는 것.
• 공유된 임bedding 공간에서 시각적 및 언어적 특징을 함께 모델링하여 이미지 및 문장 검색 성능을 향상시키는 것.
• 공간적 시각적 맥락과 순차적 언어적 구조를 모두 포착할 수 있는 다중모달 시스템을 엔드 투 엔드로 훈련하는 것.
• 캡션 생성 및 검색을 위한 다양한 기준 데이터셋에서 m-RNN 모델의 효과성을 입증하는 것.
• 캡션 품질을 향상시키기 위해 공통된 재정렬과 같은 후처리 기법을 탐색하는 것.

제안 방법

• m-RNN 모델은 이미지 특징 추출을 위해 깊이 있는 CNN(VGG-16)과 문장 모델링을 위한 단어 임bedding을 갖춘 깊이 있는 RNN을 통합한다.
• 다중모달 융합층은 공동 투영을 통해 시각적 표현과 은닉 언어 표현을 공유된 의미 공간에 통합한다.
• 모델은 이미지가 주어진 조건에서 참값 캡션의 확률을 최대화하기 위해 로그우도 목적함수를 사용해 엔드 투 엔드로 훈련된다.
• 시간에 따른 역전파와 합성곱 계층을 통해 네트워크의 모든 구성 요소를 공동 최적화할 수 있다.
• 캡션 품질 향상을 위해 후처리 단계에서 훈련 세트의 근접한 이웃 캡션을 사용해 공통된 재정렬 기법을 적용한다.
• 재정렬을 위해, 생성된 가설과 k개의 근접 이웃에서의 기준 캡션 간의 문장 유사도를 BLEU 또는 CIDEr 점수로 계산한다.

실험 결과

연구 질문

• RQ1 다중모달 RNN 아키텍처가 시각적 및 언어적 시퀀스를 함께 모델링하여 새로운 정확한 이미지 캡션을 생성할 수 있는가?
• RQ2 캡션 생성 품질과 다양성 측면에서 m-RNN 모델은 검색 기반 방법에 비해 어떻게 비교되는가?
• RQ3 m-RNN 모델은 최신 기술 기반의 임bedding 방법에 비해 이미지 및 문장 검색 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 근접 이웃 캡션을 사용한 공통 재정렬 기법이 생성된 캡션의 품질을 추가로 향상시킬 수 있는가?
• RQ5 m-RNN에서 얻은 정제된 이미지 특징의 통합이 후속 캡션 생성 및 검색 성능에 어떤 영향을 미치는가?

주요 결과

• m-RNN 모델은 IAPR TC-12, Flickr 8K, Flickr 30K 및 MS COCO 데이터셋에서 이미지 캡션 생성 작업에서 최신 기술 수준 성능을 달성하며, 이전 방법들보다 뛰어나다.
• MS COCO 검증 세트에서 m-RNN 모델은 CIDEr 점수 0.842를 기록하여 이전 방법들보다 뚜렷이 높았다.
• 근접 이웃 캡션을 사용한 공통 재정렬을 적용한 후, MS COCO 검증 세트의 CIDEr 점수는 0.938로 향상되었고, 테스트 서버에서는 0.917로 나타났다.
• 공통 재정렬 적용 후, 검증 세트에서 BLEU-4 점수는 3.5점 향상되었고, 테스트 세트에서는 3.3점 향상되었다.
• 기준 캡션을 사용한 오라클 재정렬 성능은 검증 세트에서 CIDEr 점수 1.272에 도달하여 향후 개선 여지가 크다는 것을 시사한다.
• m-RNN 모델에서 유도된 정제된 이미지 특징는 원래 VGG-16 특징가 실패하는 경우에도 바나나와 같은 물체를 정확히 식별하는 등 더 정확한 시각적 의미를 포착한다.