[논문 리뷰] Fast Image Caption Generation with Position Alignment

Zhengcong Fei|arXiv (Cornell University)|2019. 12. 13.

Multimodal Machine Learning Applications참고 문헌 28인용 수 25

한 줄 요약

이 논문은 비자기적 이미지 캡션 생성 모델인 FNIC를 제안하며, 검출된 객체를 순서화하고 문장 생성을 안내하기 위해 위치 정렬 모듈을 도입하여 생성 속도를 가속화한다. 위치 인식 캐리어 캡션을 모델링하고 비결정적 추론 전략을 사용함으로써, FNIC는 자동적 모델과 유사한 성능을 달성하면서도 거의 8배 빠른 속도를 기록하며 단어 반복 및 생략 오류를 크게 줄였다.

ABSTRACT

Recent neural network models for image captioning usually employ an encoder-decoder architecture, where the decoder adopts a recursive sequence decoding way. However, such autoregressive decoding may result in sequential error accumulation and slow generation which limit the applications in practice. Non-autoregressive (NA) decoding has been proposed to cover these issues but suffers from language quality problem due to the indirect modeling of the target distribution. Towards that end, we propose an improved NA prediction framework to accelerate image captioning. Our decoding part consists of a position alignment to order the words that describe the content detected in the given image, and a fine non-autoregressive decoder to generate elegant descriptions. Furthermore, we introduce an inference strategy that regards position information as a latent variable to guide the further sentence generation. The Experimental results on public datasets show that our proposed model achieves better performance compared to general NA captioning models, while achieves comparable performance as autoregressive image captioning models with a significant speedup.

연구 동기 및 목표

• 순차적 단어 생성으로 인해 느린 자동적 이미지 캡션 생성 모델의 추론 속도 문제를 해결한다.
• 대상 단어 분포를 간접적으로 모델링함으로써 발생하는 비자기적(NA) 캡션의 유창성 및 정확도 문제를 극복한다.
• 검출된 객체로부터의 공간적 및 의미적 위치 정보를 명시적으로 통합하여 비자기적 캡션 품질을 향상시킨다.
• 해시 맵 기반의 어휘 지도를 사용하는 추론 전략을 개발하여 디코딩의 모호성을 줄이고 문장의 통일성을 향상시킨다.

제안 방법

• 공간적 위치에 따라 검출된 객체를 순서화하는 경량의 GRU 기반 위치 정렬 모듈을 도입하여 캐리어 캡션 단어를 생성한다.
• 순서화된 캐리어 단어를 최종 비자기 디코더의 구조적 지도로 사용하여 자연스럽고 통일된 문장을 생성한다.
• 캐리어 단어 시퀀스를 잠재 변수로 간주하여 정보 손실을 줄이기 위해 비결정적 확률 추론 전략을 적용한다.
• 표준 비자기 디코더 입력(복사된 시각적 특징)을 위치 순서로 정렬된 객체 기술로 대체하여 시각적 및 언어적 구조를 더 잘 일치시킨다.
• 객체 검출 특징을 위치 정렬 모듈의 입력으로 활용하여 생성된 단어의 공간적 기반을 강화한다.
• 최종 문장을 비자기 디코더를 사용하여 시각적 특징과 위치 정렬 캐리어 캡션을 조건으로 하여 미세조정한다.

실험 결과

연구 질문

• RQ1 비자기적 이미지 캡션 생성이 자동적 모델과 유사한 성능을 달성하면서도 추론 속도를 크게 향상시킬 수 있는가?
• RQ2 명시적인 위치 정렬을 통합할 경우 비자기적 캡션의 유창성과 정확도는 어떻게 향상되는가?
• RQ3 캐리어 단어를 위치 순서로 정렬한 잠재 지도로 사용할 경우 디코딩의 모호성은 얼마나 감소하고 문장 품질은 어떻게 향상되는가?
• RQ4 비결정적 추론 전략이 결정적 추론보다 의미 정확도와 다양성을 유지하는 데 더 우수한가?

주요 결과

• FNIC는 COCO 및 Flickr30k 벤치마크에서 자동적 모델과 유사한 성능을 유지하면서도 거의 8배 빠른 추론 속도를 기록한다.
• 1층 GRU 기반 위치 정렬 모듈을 사용한 모델가 더 큰 비자기적 모델(예: 1층 트랜스포머)보다 캡션 품질에서 뛰어나며, 위치 지도 캐리어 캡션의 효과성을 입증한다.
• GRU 기반 정렬을 사용한 FNIC는 COCO Karpathy 테스트 스플릿에서 SCST, ADP-ATT, LSTM-A 등 여러 강력한 자동적 모델을 대부분의 지표에서 능가한다.
• 비결정적 추론 전략은 결정적 추론 대비 정보 손실을 줄였지만, 캐리어 단어가 이미 정확할 경우 성능 향상은 미미하다.
• FNIC는 자동적 모델보다 더 다양한 캡션을 생성하며, 87.12%의 고유 캡션 비율과 12.16%의 어휘 사용률을 기록하여 Up-Down(61.58% 고유) 및 GCN-LSTM(83.22% 고유)보다 뚜렷이 높다.
• 사례 연구를 통해 FNIC가 비자기적 모델에서 흔히 발생하는 단어 반복 및 객체 생략 문제를 효과적으로 완화함을 확인했으며, 이는 주로 캐리어 단어 생성 오류에서 기인한다.