[논문 리뷰] CLIP-Diffusion-LM: Apply Diffusion Model on Image Captioning

Shitong Xu|arXiv (Cornell University)|2022. 10. 10.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 CLIP 특징을 조건으로 사용하는 노이즈 제거 확산 언어 모델을 활용해 텍스트 생성을 수행하는 비자기적 이미지 캡셔닝 모델인 CLIP-Diffusion-LM을 제안한다. 자동회귀 모델보다 훨씬 적은 추론 단계로 Flickr30k+Flickr8k 데이터셋에서 BLEU-4 0.2470을 달성하며, 확산 모델이 이미지 캡셔닝에 적용될 수 있음을 입증한다.

ABSTRACT

Image captioning task has been extensively researched by previous work. However, limited experiments focus on generating captions based on non-autoregressive text decoder. Inspired by the recent success of the denoising diffusion model on image synthesis tasks, we apply denoising diffusion probabilistic models to text generation in image captioning tasks. We show that our CLIP-Diffusion-LM is capable of generating image captions using significantly fewer inference steps than autoregressive models. On the Flickr8k dataset, the model achieves 0.1876 BLEU-4 score. By training on the combined Flickr8k and Flickr30k dataset, our model achieves 0.2470 BLEU-4 score. Our code is available at https://github.com/xu-shitong/diffusion-image-captioning.

연구 동기 및 목표

• 자동회귀 모델의 느린 생성 속도와 이전 토큰을 재수정할 수 없는 한계를 해결하면서, 비자기적 텍스트 생성에 확산 모델을 적용해 이미지 캡셔닝에 활용할 수 있는지 탐색한다.
• 사전 학습된 CLIP 및 DistilBERT 구성 요소를 활용해 고품질의 이미지 캡셔닝을 생성하는 확산 기반 언어 모델링의 효과성을 조사한다.
• 확산 기반 캡셔닝의 맥락에서 손실 가중치, 가이던스 스케줄링, 특징 융합 방법과 같은 설계 선택 사항을 경험적으로 평가한다.
• 확산 기반 이미지 캡셔닝에서 캡처 품질 향상과 모델 수렴을 개선하는 데 기여하는 트릭에 대한 통찰을 제공한다.

제안 방법

• 모델은 CLIP을 사용해 이미지 및 텍스트 특징를 추출하며, 이를 캡처 임베딩과 연결하거나 요소별 덧셈을 통해 융합한다.
• DistilBERT 기반의 확산 언어 모델은 각 시간 단계에서 노이즈를 예측함으로써 잠재 텍스트 시퀀스를 노이즈 제거하도록 훈련되며, 원래의 캡처 임베딩을 재구성하는 것을 목표로 한다.
• 분류기 없이도 생성 품질을 향상시킬 수 있도록 추론 시 분류기 없는 가이던스를 적용한다.
• 손실 함수에는 노이즈 제거 항목 $ L_{diffuseLM} $, 재구성 항목 $ L_{recon} $, 반올림 항목 $ L_{round} $ 이 포함되며, 수렴성과 성능을 균형 잡기 위해 적응형 가중치를 적용한다.
• 모델은 이후에 노이즈 제거된 상태가 아니라 원래의 캡처 임베딩 $ x_0 $ 을 예측하도록 훈련되며, 이는 성능 향상과 수렴 속도 향상에 기여한다.
• 학습률, 손실 가중치, $ x_0 $-예측 대비 $ x_{s_t - n} $-예측에 대한 초모델 아블레이션 연구를 수행해 최적의 설정을 규명한다.

실험 결과

연구 질문

• RQ1 확산 기반 언어 모델이 자동회귀 방식이 아닌 비자기적 방식으로 이미지 캡셔닝을 효과적으로 생성할 수 있는가? 자동회귀 모델과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 특히 반올림 항목과 적응형 가중치가 포함된 손실 함수 구성 요소들이 모델 수렴성과 캡처 품질에 어떤 영향을 미치는가?
• RQ3 $ x_0 $-예측과 $ x_{s_t - n} $-예측 간의 영향은 생성 품질과 학습 안정성에 어떤 영향을 미치는가?
• RQ4 연결 또는 요소별 덧셈과 같은 특징 융합 방법 중 어느 것이 더 높은 성능을 내는가? 이는 학습 안정성의 상충 요소를 수반한다.
• RQ5 분류기가 별도로 존재하지 않는 상황에서 분류기 없는 가이던스 사용이 생성된 캡처 품질에 어떤 영향을 미치는가?

주요 결과

• 모델은 통합된 Flickr8k 및 Flickr30k 데이터셋에서 BLEU-4 점수 0.2470을 달성하며, 자동회귀 모델보다 훨씬 적은 추론 단계로 뛰어난 성능을 보였다.
• $ x_0 $-예측을 $ x_{s_t - n} $-예측보다 사용할 경우 BLEU-4 점수는 0.1549에서 0.1474로 향상되었고, $ L_{diffuseLM} $ 손실은 17.8에서 22.6로 감소하여 수렴성과 성능 향상이 뚜렷하게 향상됨을 보였다.
• 연결 기반 특징 융합 방법이 요소별 덧셈보다 우수한 성능을 보였으며, 학습 손실 변동성이 더 높음에도 불구하고 통합 데이터셋에서 BLEU-4 0.2337을 달성했다.
• 손실 함수에 반올림 항목 $ L_{round} $ 를 추가하는 것이 모델 수렴에 필수적이며, 이 항목의 적응형 가중치 조정이 성능 향상에 기여한다.
• 학습률 5e-5와 선형 감쇠 스케줄을 사용할 경우 최고의 성능을 보였으며, 통합 데이터셋에서 BLEU-4 점수 0.2470를 기록했다.
• 모델는 단지 5단계의 확산 추론 단계만으로도 합리적인 출력에 수렴하며, 시퀀스 길이에 비례하는 단계를 요구하는 자동회귀 모델 대비 뛰어난 효율성을 보였다.