[논문 리뷰] Semantic-Conditional Diffusion Networks for Image Captioning

Jianjie Luo, Yehao Li외 5명|arXiv (Cornell University)|2022. 12. 06.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 비자기적 이미지 캡셔닝 프레임워크인 의미 조건부 확산 네트워크(Semantic-Conditional Diffusion Networks, SCD-Net)를 제안한다. 이는 크로스모달 검색에서 유도된 의미적 사전 지식을 활용하여 계단식 Transformer 아키텍처에서 확산 과정을 안내한다. 유도된 자기비판 시퀀스 훈련을 통합함으로써 SCD-Net은 COCO에서 최신 기준 성능을 달성하며, CIDEr 점수 131.7로 자기를적 모델과 경쟁하는 비자기적 모델을 초월한다.

ABSTRACT

Recent advances on text-to-image generation have witnessed the rise of diffusion models which act as powerful generative models. Nevertheless, it is not trivial to exploit such latent variable models to capture the dependency among discrete words and meanwhile pursue complex visual-language alignment in image captioning. In this paper, we break the deeply rooted conventions in learning Transformer-based encoder-decoder, and propose a new diffusion model based paradigm tailored for image captioning, namely Semantic-Conditional Diffusion Networks (SCD-Net). Technically, for each input image, we first search the semantically relevant sentences via cross-modal retrieval model to convey the comprehensive semantic information. The rich semantics are further regarded as semantic prior to trigger the learning of Diffusion Transformer, which produces the output sentence in a diffusion process. In SCD-Net, multiple Diffusion Transformer structures are stacked to progressively strengthen the output sentence with better visional-language alignment and linguistical coherence in a cascaded manner. Furthermore, to stabilize the diffusion process, a new self-critical sequence training strategy is designed to guide the learning of SCD-Net with the knowledge of a standard autoregressive Transformer model. Extensive experiments on COCO dataset demonstrate the promising potential of using diffusion models in the challenging image captioning task. Source code is available at \url{https://github.com/YehLi/xmodaler/tree/master/configs/image_caption/scdnet}.

연구 동기 및 목표

• 자기적 및 비자기적 이미지 캡셔닝 모델의 한계, 특히 단어 반복 및 누락 문제를 해결한다.
• 낮은 품질의 생성 문장으로 인해 비자기적 모델에 자기비판 시퀀스 훈련(SCST)을 적용하는 데 어려움을 해결한다.
• 크로스모달 검색에서 유도된 의미적 사전 지식을 통합하여 확산 기반 이미지 캡셔닝의 시각-언어 정렬과 언어 일관성을 향상시킨다.
• 확산 모델의 병렬 생성 능력을 활용하면서도 높은 품질의 출력을 유지하는 확장 가능한 비자기적 프레임워크를 개발한다.

제안 방법

• 입력 이미지마다 대규모 캡션 코퍼스에서 의미적으로 관련된 단어를 크로스모달 검색 모델을 통해 추출하여 의미적 사전 지식으로 활용한다.
• 이러한 의미적 사전 지식을 연속적인 확산 과정에 통합하여 확산 트랜스포머의 역방향 노이즈 제거 단계를 조건화한다.
• 시각-언어 정렬을 점진적으로 향상시키기 위해 다중 확산 트랜스포머를 계단식으로 스택한다.
• 문장 수준의 보상으로 사전에 훈련된 자기적 트랜스포머 교사 모델로부터 지식을 전이하는 유도된 자기비판 시퀀스 훈련(GSCST) 전략을 설계한다.
• GSCST를 사용한 교차 엔트로피 손실과 강화 학습의 조합을 통해 확산 모델을 엔드 투 엔드로 훈련하여 훈련 안정성과 어휘 유창성을 향상시킨다.
• 각 역방향 단계에서 노이즈에서 더 유창하고 의미적으로 일치하는 문장을 생성하는 마르코프 체인 기반 노이즈 제거 과정을 활용한다.

실험 결과

연구 질문

• RQ1 확산 기반 비자기적 프레임워크는 자기적 모델의 단점을 피하면서도 이미지 캡셔닝에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 크로스모달 검색에서 유도된 의미적 사전 지식은 어떻게 확산 기반 캡셔닝에서 시각-언어 정렬을 향상시키는가?
• RQ3 유도된 자기비판 시퀀스 훈련은 비자기적 확산 모델에 효과적으로 적용되어 문장의 유창성 향상과 반복 감소에 기여할 수 있는가?
• RQ4 다중 확산 기반 디코더를 계단식으로 연결하면 생성된 캡처의 품질과 일관성이 향상되는가?
• RQ5 동일한 인코더-디코더 아키텍처를 가진 표준 자기적 트랜스포머보다 확산 모델이 이미지 캡셔닝에서 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• SCD-Net은 COCO 카프라티 테스트 분할에서 CIDEr 점수 131.7을 기록하여 베이스 확산 모델(114.5)과 가장 강력한 비자기적 기준 모델을 초월한다.
• 의미적 사전 지식(Semantic)의 추가로 기존 확산 모델 대비 성능 향상이 이루어졌으며, CIDEr 점수는 114.5에서 120.8로 상승하였다.
• 유도된 자기비판 시퀀스 훈련(GSCST)은 성능을 크게 향상시켜 CIDEr 점수를 120.8에서 131.7로 상승시켰으며, B@4, M, R, S 등 모든 지표가 향상되었다.
• 두 개의 확산 트랜스포머를 계단식으로 연결할 경우 최고의 성능(CIDEr: 131.6)을 기록하였고, 세 개로 늘릴 경우는 미미한 성능 향상에 그쳐 두 단계 이상에서는 수익 감소 현상이 나타났다.
• 각 확산 트랜스포머에 세 개의 트랜스포머 블록을 사용할 경우 최적의 성능를 달성하였으며, 더 깊은 모델(5개 이상 블록)은 과적합 또는 컨텍스트 모델링의 노이즈로 인해 약간의 성능 저하를 초래하였다.
• 동일한 트랜스포머 인코더-디코더 아키텍처를 사용한 경쟁적 자기적 모델을 모두 초월하여, 확산 모델이 이미지 캡셔닝 분야에서의 잠재력을 입증하였다.