[논문 리뷰] Masked Non-Autoregressive Image Captioning

Junlong Gao, Meng Xi외 5명|arXiv (Cornell University)|2019. 06. 03.

Multimodal Machine Learning Applications참고 문헌 25인용 수 25

한 줄 요약

이 논문은 이미지 캡션 생성을 위해 마스크된 비자율적 디코딩을 제안하며, 점진적으로 더 적은 마스크가 가해진 입력 시퀀스에서 마스크된 언어 모델을 훈련시켜 구성적이고 다단계적인 방식으로 캡션을 생성한다. 시각적 주목 유도 추출과 반복적인 언어적 정련을 결합함으로써, 자율적 디코딩 및 표준 비자율적 디코딩 기준선 대비 더 빠른 추론, 누적 오류 감소, 향상된 의미 정확도, 더 높은 캡션 다양성을 달성한다.

ABSTRACT

Existing captioning models often adopt the encoder-decoder architecture, where the decoder uses autoregressive decoding to generate captions, such that each token is generated sequentially given the preceding generated tokens. However, autoregressive decoding results in issues such as sequential error accumulation, slow generation, improper semantics and lack of diversity. Non-autoregressive decoding has been proposed to tackle slow generation for neural machine translation but suffers from multimodality problem due to the indirect modeling of the target distribution. In this paper, we propose masked non-autoregressive decoding to tackle the issues of both autoregressive decoding and non-autoregressive decoding. In masked non-autoregressive decoding, we mask several kinds of ratios of the input sequences during training, and generate captions parallelly in several stages from a totally masked sequence to a totally non-masked sequence in a compositional manner during inference. Experimentally our proposed model can preserve semantic content more effectively and can generate more diverse captions.

연구 동기 및 목표

• 자율적 이미지 캡션 생성에서 순차적 오류 누적과 느린 추론 문제를 해결하기 위해.
• 비자율적 디코딩에서 다중모odal 문제를 극복하기 위해 목표 분포를 더 직접적으로 모델링함으로써.
• 시각적 및 언어적 생성 단계를 분리시켜 캡션 다양성과 의미 풍부성을 향상시키기 위해.
• 다단계 마스크된 추론 과정을 통해 더 빠르고 정확한 캡션 생성을 가능하게 하기 위해.

제안 방법

• 모델은 훈련 중에 여러 비율(예: 0.4, 0.6, 0.8, 1.0)로 마스크된 입력 시퀀스에서 훈련된 마스크된 언어 모델을 사용한다.
• 추론 중에 모델은 완전히 마스크된 시퀀스에서 시작하여 점차 마스크를 줄여가며 다단계로 캡션을 생성한다.
• 각 단계는 시각적 특징과 부분적으로 생성된 시퀀스를 바탕으로 캡션을 정련하기 위해 양방향 트랜스포머 디코더를 사용한다.
• 이 방법은 구성적 생성 과정을 활용한다: 초기 단계는 주목할 만한 시각적 내용에 집중하고, 후속 단계는 언어적 구조와 의미를 정교화한다.
• 모델은 BERT와 유사한 마스크된 입력 전략을 활용하여 진정한 목표 분포를 간접적이지만 효과적으로 모델링할 수 있다.
• 최종 캡션은 반복적인 정련을 통해 생성되며, 각 단계는 동일한 인코더-디코더 아키텍처를 사용하고 마스크된 입력을 활용하여 이전 단계를 개선한다.

실험 결과

연구 질문

• RQ1 마스크된 비자율적 디코딩 전략은 이미지 캡션 생성에서 오류 전파를 줄이고 추론 속도를 향상시킬 수 있는가?
• RQ2 단계적이고 다중 비율 마스크는 표준 자율적 또는 비자율적 방법 대비 의미 정확도와 다양성을 향상시킬 수 있는가?
• RQ3 시각적 내용을 먼저 생성한 후 언어적 생성을 수행하는 과정은 생성된 캡션에서 주목할 만한 시각적 내용을 더 잘 유지하는가?
• RQ4 비자율적 설정에서 간접적 지도 학습을 받는다 해도 모델은 진정한 목표 분포를 효과적으로 모델링할 수 있는가?

주요 결과

• 제안된 방법은 MS-COCO 테스트 세트에서 BLEU-4 점수 83.86과 CIDEr 점수 91.62를 기록하여 자율적 기준선을 초월한다.
• 모델은 더 높은 다양성을 보이며, 고유 캡션 비율 12.53%와 어휘 사용률 11.62%를 기록하여 더 넓은 어휘 커버리지를 나타낸다.
• 두 번째 추론 라운드(1라운드의 출력을 입력으로 사용)에서도 성능이 단계별로 향상되었으며, 추가로 한 라운드만 더 거치더라도 뛰어난 성능을 보였다.
• 긴 시퀀스 길이는 더 나은 의미 커버리지를 나타내는 SP 점수를 향상시키지만, 중간 길이는 문법적 및 의미적 정확도를 고려할 때 최적의 CD 점수를 제공한다.
• 훈련 데이터에서 자주 사용되는 n-그램에 대한 의존도가 감소하여 더 의미적으로 정확하고 반복적이지 않은 캡션을 생성한다.
• 모델은 마스크된 비자율적 디코딩 전략이 다중모달 문제를 효과적으로 완화하고 더 빠르고 정확한 캡션 생성을 가능하게 함을 입증한다.