[논문 리뷰] Zero-shot Image Captioning by Anchor-augmented Vision-Language Space Alignment

Junyang Wang, Yi Zhang외 3명|arXiv (Cornell University)|2022. 11. 14.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 CLIP 기반 모델에서의 문맥적 언어 사전 지식 문제를 해결함으로써 zero-shot 이미지 캡셔닝 성능을 향상시키기 위해 앵커 보강된 시각-언어 공간 정렬을 제안한다. 비정답 데이터 없이도 작동하는 교차모달 언어 모델(CLMs)과 언어적 및 개체 수준의 앵커를 활용해 세분화된 시각적 주의를 이끄는 앵커 보강(Anchor Augment)을 도입하여, MS COCO와 Flickr 30K에서 상태최저 수준의 캡셔닝 품질과 높은 생성 효율성을 달성한다.

ABSTRACT

CLIP (Contrastive Language-Image Pre-Training) has shown remarkable zero-shot transfer capabilities in cross-modal correlation tasks such as visual classification and image retrieval. However, its performance in cross-modal generation tasks like zero-shot image captioning remains unsatisfied. In this work, we discuss that directly employing CLIP for zero-shot image captioning relies more on the textual modality in context and largely ignores the visual information, which we call \emph{contextual language prior}. To address this, we propose Cross-modal Language Models (CLMs) to facilitate unsupervised cross-modal learning. We further propose Anchor Augment to guide the generative model's attention to the fine-grained information in the representation of CLIP. Experiments on MS COCO and Flickr 30K validate the promising performance of proposed approach in both captioning quality and computational efficiency.

연구 동기 및 목표

• CLIP 기반 zero-shot 이미지 캡셔닝에서 언어 모델이 시각적 입력 대신 텍스트적 맥락에 의존해 관련 없는 내용을 생성하는 문맥적 언어 사전 지식 문제를 해결하기 위해.
• 인간이 레이블링한 쌍체 데이터가 필요 없이 CLIP의 시각-언어 표현 공간을 활용하여 비정답 데이터 기반 교차모달 학습을 가능하게 하기 위해.
• 언어적 및 개체 수준의 단서를 활용한 앵커 기반 감독을 통해 생성 모델의 세분화된 시각적 세부 사항에 대한 주의를 향상시키기 위해.
• 기존 zero-shot 접근 방식보다 뛰어난 계산 효율성을 확보하면서도 고품질이고 정확한 이미지 캡셔닝을 달성하기 위해.

제안 방법

• CLM은 CLIP로 인코딩된 텍스트 표현을 프리픽스 토큰으로 사용하고 원본 문장을 자동회귀 레이블로 삼아, 자율적이고 자기지도 학습 방식으로 훈련된다.
• 훈련 문장에서 문법 분석기를 통해 추출한 명사들인 앵커는 CLM 훈련 중에 생성 모델의 주의를 관련 시각적 개념으로 이끄는 데 사용된다.
• 훈련 중에 특정 확률로 샘플 내 모든 앵커를 무작위로 드롭아웃하는 앵커 랜덤 드롭아웃 기법을 도입하여 모델의 강건성을 향상시킨다.
• 추론 단계에서는 객체 검출기의 예측 결과(예: '아기', '코끼리')를 앵커로 사용하여 캡셔닝 생성을 이미지의 실제 내용에 기반하게 한다.
• 생성 모델은 CLIP 이미지 특징과 개체 수준의 앵커에 조건을 두어, 질의 기반 주의 메커니즘 없이도 시각 기반의 고품질 캡셔닝 생성이 가능하다.
• 훈련 과정은 완전히 비정답 데이터 기반이며, 인간이 레이블링한 이미지-텍스트 쌍이 전혀 필요 없이, 오직 CLIP의 사전 학습된 표현과 비쌍체 텍스트 데이터에 의존한다.

실험 결과

연구 질문

• RQ1 CLIP 기반 언어 모델을 사용할 때 zero-shot 이미지 캡셔닝에서 문맥적 언어 사전 지식의 영향을 어떻게 줄일 수 있는가?
• RQ2 CLIP의 사전 학습된 시각-언어 표현과 비쌍체 텍스트 데이터만을 사용하여 효과적인 비정답 교차모달 학습을 가능하게 할 수 있는가?
• RQ3 감독 기반 시각적 레이블링에 의존하지 않고도 생성 모델의 세분화된 시각적 세부 사항에 대한 주의를 어떻게 향상시킬 수 있는가?
• RQ4 어떤 정도로 앵커 기반 감독이 zero-shot 환경에서 생성된 캡셔닝의 정확성과 관련성에 기여하는가?
• RQ5 상태최저 수준의 캡셔닝 품질을 유지하면서도 고속의 생성 속도를 달성할 수 있는가?

주요 결과

• 제안된 방법은 MS COCO와 Flickr 30K 벤치마크에서 모두 기존 zero-shot 기준선을 능가하는 최고 수준의 캡셔닝 품질을 달성한다.
• 이미지에 잔디가 없음에도 불구하고 언어 사전 지식로 인해 '코끼리' 다음에 '잔디'를 생성하는 등의 환각 또는 관련 없는 콘텐츠 생성을 크게 줄였다.
• 추론 단계에서 객체 검출기에서 유도된 앵커를 사용함으로써 객체 인식 정확도가 향상되었으며, 특히 다른 모델이 실패하는 이미지에서 '아기'를 정확히 식별하는 데 기여했다.
• 훈련 과정 분석 결과, CLM은 초반에 교차모달 전이 성능을 향상시키지만 너무 오래 훈련하면 성능이 저하됨을 확인하여 조기 정지가 필요함을 시사했다.
• 질의 기반 아키텍처가 아니므로 높은 생성 효율성을 확보하여 기존 방법보다 더 빠르면서도 높은 품질을 유지한다.
• 대체 표현을 적용하여 개념 간 의존성을 평가함으로써, CLIP가 내재한 비합리적인 스테레오타입(예: 성별에 따른 옷차림 변화)을 드러내었다.