[논문 리뷰] Recurrent Image Captioner: Describing Images with Spatial-Invariant Transformation and Attention Filtering

Hao Líu, Yang Yang외 3명|arXiv (Cornell University)|2016. 12. 15.

Multimodal Machine Learning Applications참고 문헌 6인용 수 6

한 줄 요약

이 논문은 공간 불변 특징 학습을 위해 미분 가능한 공간 변환기 레이어와 미분 가능한 주의 필터 모듈을 통합한 새로운 엔드 투 엔드 이미지 캡셔닝 아키텍처인 Recurrent Image Captioner (RIC)을 제안한다. 이는 주목할 만한 시각적 영역을 동적으로 강조하며, 인코더와 디코더 간의 순환 피드백 루프를 도입하고 변분 추론을 최적화하여 Flickr8k, Flickr30k, MS COCO에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 추가적인 감독 정보를 사용하는 대부분의 기존 방법보다도 뛰어나다.

ABSTRACT

Along with the prosperity of recurrent neural network in modelling sequential data and the power of attention mechanism in automatically identify salient information, image captioning, a.k.a., image description, has been remarkably advanced in recent years. Nonetheless, most existing paradigms may suffer from the deficiency of invariance to images with different scaling, rotation, etc.; and effective integration of standalone attention to form a holistic end-to-end system. In this paper, we propose a novel image captioning architecture, termed Recurrent Image Captioner ( extbf{RIC}), which allows visual encoder and language decoder to coherently cooperate in a recurrent manner. Specifically, we first equip CNN-based visual encoder with a differentiable layer to enable spatially invariant transformation of visual signals. Moreover, we deploy an attention filter module (differentiable) between encoder and decoder to dynamically determine salient visual parts. We also employ bidirectional LSTM to preprocess sentences for generating better textual representations. Besides, we propose to exploit variational inference to optimize the whole architecture. Extensive experimental results on three benchmark datasets (i.e., Flickr8k, Flickr30k and MS COCO) demonstrate the superiority of our proposed architecture as compared to most of the state-of-the-art methods.

연구 동기 및 목표

• 기존의 이미지 캡셔닝 모델에서 공간 불변성의 부족을 해결하기 위해, 특히 확대, 회전, 이동에 대한 내성을 향상시키기 위해.
• 주목적 기반 주의 메커니즘을 독립된 모듈이 아닌, 상호 적응 가능한 구성 요소로 통합함으로써 엔드 투 엔드 학습을 가능하게 하기 위해.
• 인코더와 디코더 간의 순환 피드백 루프를 통해 저수준 시각적 특징과 고수준 언어적 의미 간의 의미 갭을 줄이기 위해.
• 전체 아키텍처를 변분 추론을 사용해 최적화하여 생성 품질과 강건성을 향상시키기 위해.

제안 방법

• CNN 기반의 시각적 인코더에 미분 가능한 공간 변환기 레이어를 장착하여 시각적 특징 표현에서 공간 불변성을 달성하기 위해.
• 기존의 시각적 특징과 생성된 캡션을 바탕으로 주목할 만한 시각적 영역을 동적으로 선택하는 미분 가능한 주의 필터 모듈을 도입하기 위해.
• LSTM 디코더에서 공간 변환 레이어로의 순환 피드백 루프를 설정하여 반복적으로 시각적 표현을 정밀화하기 위해.
• 문장 생성 과정에서 텍스트 표현을 풍부하게 하기 위해 양방향 LSTM을 사용하기 위해.
• 기본 캡션의 가능도에 대한 하한을 최대화하기 위해 전체 아키텍처를 변분 추론을 사용해 최적화하기 위해.
• 모든 데이터셋에서 시각적 인코더로 VGG-16을 사용하고, Adam 옵timizer를 사용해 학습하기 위해.

실험 결과

연구 질문

• RQ1 미분 가능한 공간 변환기 레이어가 확대 및 회전과 같은 공간적 변형에 대한 강건성을 향상시키는가?
• RQ2 인코더-디코더 루프에 미분 가능한 주의 필터를 통합하면 주목할 만한 이미지 영역의 국소화가 향상되고 캡션 품질이 향상되는가?
• RQ3 인코더와 디코더 간의 순환 피드백 메커니즘이 시각적 특징과 생성된 언어 간의 의미 갭을 줄이는가?
• RQ4 변분 추론 기반 최적화는 표준 가능도 최대화 기법보다 이미지 캡셔닝에서 더 나은 일반화와 성능을 내는가?

주요 결과

• RIC 모델이 공간 변환기 레이어(STL)와 미분 가능한 주의 필터(DAF)를 모두 포함한 경우, Flickr8k, Flickr30k, MS COCO에서 대부분의 최신 기술 수준 방법보다 뛰어난 성능을 보이며, 더 높은 BLEU 및 METEOR 점수를 기록한다.
• RIC 모델이 STL만을 사용하더라도 이전의 주의 기반 모델들([54])을 초월하며, 공간 불변성의 이점이 입증된다.
• DAF 모듈을 추가함으로써 성능이 더욱 향상되며, 이는 동적 주의 필터링이 캡션 정확도와 세부 정보를 향상시킨다는 것을 보여준다.
• 변분 추론을 사용한 전체 RIC 모델은 최신 기술 수준의 성능을 달성하며, 이미지-속성 매핑이나 반감독 ImageNet 전훈련과 같은 추가 감독 정보를 사용하는 모델들조차도 뛰어넘는다.
• 추가적인 속성 어휘나 외부 감독 없이도 뛰어난 성능을 기록함으로써, 이 모델의 효율성과 엔드 투 엔드 최적화 능력이 입증된다.