[논문 리뷰] Exploring Discrete Diffusion Models for Image Captioning

Zixin Zhu, Yixuan Wei외 8명|arXiv (Cornell University)|2022. 11. 21.

Multimodal Machine Learning Applications인용 수 12

한 줄 요약

이 논문은 길이 예측, 집중형 어텐션 마스킹, 베스트-프라이어 인퍼런스, 이미지 없는 훈련을 통합한 이산 확산 모델인 DDCap을 소개한다. 이는 자동회귀 방법의 한계를 보완하며, COCO에서 CIDEr 최적화 없이도 SOTA 성능인 125.1의 CIDEr 점수를 기록한다. 문장 보충 작업에서 자동회귀 기반 모델보다 +26.8점 높은 성능을 보이며, 강력한 일반화 능력과 종합적 맥락 모델링 능력을 입증한다.

ABSTRACT

The image captioning task is typically realized by an auto-regressive method that decodes the text tokens one by one. We present a diffusion-based captioning model, dubbed the name DDCap, to allow more decoding flexibility. Unlike image generation, where the output is continuous and redundant with a fixed length, texts in image captions are categorical and short with varied lengths. Therefore, naively applying the discrete diffusion model to text decoding does not work well, as shown in our experiments. To address the performance gap, we propose several key techniques including best-first inference, concentrated attention mask, text length prediction, and image-free training. On COCO without additional caption pre-training, it achieves a CIDEr score of 117.8, which is +5.0 higher than the auto-regressive baseline with the same architecture in the controlled setting. It also performs +26.8 higher CIDEr score than the auto-regressive baseline (230.3 v.s.203.5) on a caption infilling task. With 4M vision-language pre-training images and the base-sized model, we reach a CIDEr score of 125.1 on COCO, which is competitive to the best well-developed auto-regressive frameworks. The code is available at https://github.com/buxiangzhiren/DDCap.

연구 동기 및 목표

• 텍스트 생성이 범주형이며 짧고 길이가 변동되는 특성 덕분에 이산 확산 모델을 이미지 캡션 생성에 적용할 수 있는지 탐색한다.
• 특히 이미지 캡션 분야에서 이산 확산 모델과 자동회귀 모델 간의 성능 격차를 해소한다.
• 자연어의 고유한 특성, 예를 들어 길이의 변동성과 이산 토큰 공간을 고려해 확산 모델링에 적합한 새로운 구성 요소를 설계한다.
• 캡션 보충 작업을 통해 모델의 견고성과 유연성을 평가하여 맥락 모델링 능력과 오류 내성에서의 우월성을 부각시킨다.

제안 방법

• 캡션에 포함될 토큰 총 수를 추정하기 위해 길이 예측 헤드를 도입하여 가변 길이 출력에 대한 민감한 대응을 가능하게 한다.
• 확산 단계 동안 잡음이 많거나 덜 관련성이 있는 토큰에 대한 어텐션을 억제함으로써 정보가 많은 토큰에 동적으로 집중하는 집중형 어텐션 마스크를 도입한다.
• 각 단계에서 가장 확신도가 높은 상위-K개 토큰을 선택적으로 고정함으로써, 후속 단계에서 노이즈로 인해 이전에 올바른 토큰이 손상되는 것을 방지하는 베스트-프라이어 인퍼런스를 사용한다.
• 이미지 조건을 마스킹하여 사전 훈련 중에 텍스트 사전 지식을 학습하기 위해 이미지 없는 훈련을 도입함으로써, 사전 지식과 이미지 조건부 생성 간의 균형을 맞춘다.
• CLIP 이미지 인코더를 사용해 400만 개의 이미지-텍스트 쌍으로 사전 훈련을 수행하며, 모든 구성 요소를 확산 프레임워크 내에서 공동 최적화한다.
• 인퍼런스는 마스킹된 토큰에서 시작해 점진적으로 복구하는 비자기회귀적이고 맥락 인식 방식의 반복적 노이즈 제거 과정을 사용한다.

실험 결과

연구 질문

• RQ1 텍스트가 이산적이고 길이가 변동되는 특성을 지닌다는 점을 감안할 때, 이산 확산 모델이 정확하고 논리적인 이미지 캡션을 효과적으로 생성할 수 있는가?
• RQ2 길이 예측 및 집중형 어텐션과 같은 핵심 아키텍처 구성 요소가 텍스트 기반 확산 모델의 성능 향상에 어떻게 기여하는가?
• RQ3 캡션 생성에서 표준 자동회귀 또는 전체 노이즈 제거 방식과 비교해 베스트-프라이어 인퍼런스가 오류 누적을 줄이는 데 효과적인가?
• RQ4 이미지 없는 사전 훈련이 이미지 신호에만 의존하지 않고도 의미적으로 기반된 캡션 생성 능력을 향상시키는 데 얼마나 기여하는가?
• RQ5 확산 모델의 비자기회르적이고 영향을 받는 생성 순서가 캡션 보충과 같은 맥락 민감도가 높은 작업에서 자동회귀 모델을 능가할 수 있는가?

주요 결과

• DDCap는 400만 장의 사전 훈련 이미지를 사용해 COCO 데이터셋에서 CIDEr 점수 125.1을 기록했으며, 최신 자동회귀 모델과 경쟁 가능한 성능을 보였다.
• 캡션 보충 작업에서 DDCap는 자동회귀 기반 모델보다 CIDEr 점수로 +26.8점 높은 230.3점(비교 대상: 203.5점)을 기록하여 더 뛰어난 맥락 모델링 능력과 견고성을 입증했다.
• 보충 작업에서 DDCap는 CLIP 점수 76.4점을 기록했으며, 자동회귀 기반 모델(75.7점)보다 略 높아 의미적 일치도가 더 우수함을 시사한다.
• 제거 분석 결과, 길이 예측, 집중형 어텐션, 베스트-프라이어 인퍼런스, 이미지 없는 훈련 등 각각의 제안된 구성 요소가 성능 향상에 기여한다는 게 확인되었다.
• 정성 분석 결과, DDCap는 논리적이고 객체 중심의 순서(예: 관계 이전에 객체 먼저)로 캡션을 생성함으로써 더 나은 구조적 이해 능력을 보였다.
• 개선에도 불구하고 모델은 가끔 반복어를 생성하는 경향이 있으며, 이는 후처리 또는 업데이트된 길이 예측을 통한 재생성으로 보완 가능하다.