[논문 리뷰] Image Captioning using Deep Stacked LSTMs, Contextual Word Embeddings and Data Augmentation

Sulabh Katiyar, Samir Kumar Borgohain|arXiv (Cornell University)|2021. 02. 22.

Multimodal Machine Learning Applications인용 수 9

한 줄 요약

이 논문은 특징 추출에 Inception-ResNet-v2를 사용하고, 문맥적 Komninos 단어 임베딩을 갖춘 깊이 있는 스택형 LSTMs, 그리고 뒤집기 및 투시 변환을 통한 데이터 증강을 적용한 이미지 캡셔닝 모델을 제안한다. 명시적인 주의 메커니즘 없이도 우수한 성능을 달성하며, 향상된 특징 표현과 계층적 단어 모델링 덕분에 표준 평가 지표에서 기준 모델을 능가한다.

ABSTRACT

Image Captioning, or the automatic generation of descriptions for images, is one of the core problems in Computer Vision and has seen considerable progress using Deep Learning Techniques. We propose to use Inception-ResNet Convolutional Neural Network as encoder to extract features from images, Hierarchical Context based Word Embeddings for word representations and a Deep Stacked Long Short Term Memory network as decoder, in addition to using Image Data Augmentation to avoid over-fitting. For data Augmentation, we use Horizontal and Vertical Flipping in addition to Perspective Transformations on the images. We evaluate our proposed methods with two image captioning frameworks- Encoder-Decoder and Soft Attention. Evaluation on widely used metrics have shown that our approach leads to considerable improvement in model performance.

연구 동기 및 목표

• 더 깊은 LSTM 아키텍처와 문맥적 단어 표현을 활용하여 이미지 캡셔닝 성능을 향상시키기.
• 효과적인 데이터 증강 기법을 통해 이미지 캡셔닝 모델의 과적합을 줄이기.
• 더 나은 공간 이해를 위해 전역 이미지 임베딩 대비 중간 합성곱 특징의 효용성 탐색하기.
• 문맥적 단어 임베딩과 깊이 있는 스택형 LSTMs가 주의 메커니즘의 부재를 보완할 수 있는지 평가하기.
• 표현 학습 향상을 위해 CNN 인코더와 단어 임베딩 레이어를 함께 미세조정하기.

제안 방법

• 이미지에서 다중 척도 특징 맵을 추출하기 위해 Inception-ResNet-v2를 CNN 인코더로 활용하여 공간적 및 지역적 정보를 유지한다.
• 생성된 캡셔닝의 장거리 의존성과 복잡한 언어적 구조를 모델링하기 위해 3층의 깊이 있는 스택형 LSTMs 디코더를 적용한다.
• 단어 공존 및 의존성 문맥 특징을 통합한 Komninos 단어 임베딩을 활용하여 문맥적으로 풍부한 단어 표현을 생성한다.
• 수평/수직 뒤집기 및 투시 변환을 통해 데이터 증강을 적용하여 훈련 데이터의 다양성을 높이고 과적합을 줄인다.
• 훈련 중에 CNN 특징 추출기 및 단어 임베딩 레이어의 파라미터를 함께 미세조정하여 표현을 캡셔닝 작업에 적응시킨다.
• 표준 인코더-디코더 프레임워크와 소프트 주의 기반 디코딩 프레임워크 두 가지에서 모델을 평가하며, 정답 캡셔닝의 조건부 확률을 최대화하기 위해 교차 엔트로피 손실을 사용한다.

실험 결과

연구 질문

• RQ1 문맥적 단어 임베딩을 갖춘 깊이 있는 스택형 LSTMs 디코더가 명시적인 주의 메커니즘 없이도 경쟁적인 성능을 달성할 수 있는가?
• RQ2 Inception-ResNet-v2의 중간 합성곱 특징을 사용하는 것이 전역 이미지 임베딩 대비 캡셔닝 작업에서 어떻게 비교되는가?
• RQ3 기하학적 변환을 통한 데이터 증강이 이미지 캡셔닝 모델의 일반화 능력 향상과 과적합 감소에 얼마나 기여하는가?
• RQ4 CNN 인코더와 단어 임베딩 레이어의 미세조정이 측정 가능한 성능 향상으로 이어지는가?
• RQ5 문맥적 단어 임베딩은 모델이 의미적으로 정확하고 문맥적으로 일관된 캡셔닝을 생성하는 데 어떻게 기여하는가?

주요 결과

• 명시적인 주의 메커니즘이 없는 제안된 인코더-디코더 모델이 표준 평가 지표에서 소프트 주의 메커니즘을 사용하는 모델보다 우수하거나 동등한 성능을 기록한다.
• Inception-ResNet-v2를 특징 추출에 사용함으로써 더 풍부한 특징 표현 덕분에 단순한 CNN보다 성능 향상이 뚜렷하다.
• 깊이 있는 스택형 LSTMs(3층)는 단일 레이어 LSTMs에 비해 더 나은 복잡한 언어적 의존성 모델링을 가능하게 한다.
• 문맥적 Komninos 단어 임베딩은 단어 표현 품질을 향상시켜 생성된 캡셔닝의 의미 정확도를 높인다.
• 뒤집기 및 투시 변환을 통한 데이터 증강은 과적합을 효과적으로 줄이고 검증 세트에서 일반화 능력을 향상시킨다.
• 정성적 분석 결과, 모델은 더 기술적인 캡셔닝을 생성하며 물체의 색상, 동작, 장면 세부 정보를 정확히 식별하는 경향이 있으나, 가끔 단어 반복 현상이 발생한다.