[논문 리뷰] Retrieval-Augmented Transformer for Image Captioning

Sara Sarto, Marcella Cornia외 2명|arXiv (Cornell University)|2022. 07. 26.

Multimodal Machine Learning Applications인용 수 9

한 줄 요약

이 논문은 시각적 특징 기반 k-NN 검색을 통해 외부 메모리에서 관련된 텍스트 기술문서를 검색하여 생성 품질을 향상시키는 검색 증강 Transformer를 제안한다. k-NN 증강된 어텐션 레이어를 통합함으로써 모델은 캡션의 다양성과 정확도를 향상시키며, 강화 학습을 통해 미세조정한 후 COCO에서 기준 Transformer보다 1.2 CIDEr 포인트 향상된 최신 기술 성능을 달성한다.

ABSTRACT

Image captioning models aim at connecting Vision and Language by providing natural language descriptions of input images. In the past few years, the task has been tackled by learning parametric models and proposing visual feature extraction advancements or by modeling better multi-modal connections. In this paper, we investigate the development of an image captioning approach with a kNN memory, with which knowledge can be retrieved from an external corpus to aid the generation process. Our architecture combines a knowledge retriever based on visual similarities, a differentiable encoder, and a kNN-augmented attention layer to predict tokens based on the past context and on text retrieved from the external memory. Experimental results, conducted on the COCO dataset, demonstrate that employing an explicit external memory can aid the generation process and increase caption quality. Our work opens up new avenues for improving image captioning models at larger scale.

연구 동기 및 목표

• 모델의 기억 저장에 의존도를 줄임으로써 고품질이고 다양한 이미지 캡션을 생성하는 데 도전한다.
• 시각-언어 생성에서 외부 지식을 검색 기반 메커니즘을 통해 통합해보는 것을 탐색한다.
• 모델 크기나 학습 비용을 크게 증가시키지 않으면서도 캡션 생성 성능을 향상시키는 것을 목표로 한다.
• 외부 메모리에서의 검색이 시각-언어 맥락에서 생성 품질 향상에 기여하는지 평가한다.
• k-NN 증강된 어텐션의 실현 가능성과 효과성을 입증한다.

제안 방법

• 모델는 시각 인코더를 사용해 이미지 특징을 추출하고, k-NN 증강된 어텐션 레이어를 갖춘 미분 가능한 Transformer 디코더를 사용한다.
• 지식 검색기(지식 추출기)는 시각 임베딩 공간에서 근사 k-NN 검색을 수행하여 외부 메모리에서 관련된 텍스트 캡션을 검색한다.
• k-NN 증강된 어텐션 레이어는 과거에 생성된 토큰과 검색된 텍스트를 동시에 고려하여 맥락 인식 생성을 가능하게 한다.
• 외부 메모리는 대규모 이미지-캡션 쌍 코퍼스에서 구성되며, 시각적 특징을 사용해 인덱싱하고 의미적으로 관련된 캡션을 검색한다.
• 모델는 교차 엔트로피 손실을 사용해 엔드 투 엔드로 학습되며, 향상된 생성 품질을 위해 CIDEr 최적화를 통해 추가로 미세조정된다.
• 디코딩 과정에서는 CPU에서 k-NN 검색을 수행하여 표준 Transformer보다 추론 시간이 26% 증가한다.

실험 결과

연구 질문

• RQ1 외부 메모리 검색을 통해 모델 크기를 늘리지 않고도 이미지 캡션 생성 성능을 향상시킬 수 있는가?
• RQ2 시각적 유사도 기반 k-NN 검색이 캡션 생성을 위한 관련 텍스트 기술문서를 얼마나 효과적으로 검색하는가?
• RQ3 k-NN 증강된 어텐션 레이어를 통해 검색된 텍스트를 통합하면 더 고품질이고 다양한 캡션을 생성할 수 있는가?
• RQ4 검색 증강 모델은 최신 기술 기반 Transformer 기반 캡셔너와 RETRO 아키텍처와 비교해 어떻게 성능을 내는가?
• RQ5 검색된 캡션이 부분적으로 부정확하거나 입력 이미지와 일치하지 않더라도 모델은 성능을 유지할 수 있는가?

주요 결과

• 강화 학습을 통해 미세조정한 후, 검색 증강 모델은 표준 Transformer 기준보다 1.2 CIDEr 포인트 향상된 성능을 달성한다.
• 모델은 COCO의 Karpathy 테스트 분할에서 모든 표준 평가 지표(BLEU, ROUGE, CIDEr, METEOR)에서 다른 최신 기술 모델들을 능가한다.
• k-NN 증강된 어텐션 레이어는 특히 더 기술적인 표현과 다양한 어휘를 생성하는 데 있어 캡션 품질을 크게 향상시킨다.
• 정성 분석 결과, 검색된 캡션은 종종 시각적 내용과 일치하며, 모델이 더 정확한 기술문서를 생성하도록 이끈다. 예를 들어 '노인들로 이루어진 그룹'이나 '남자가 점프하고 있다' 등의 기술문서.
• 일부 검색된 캡션이 관련이 없더라도, 모델은 시각적 특징에 의존하여 오류를 보완함으로써 강건성을 유지한다.
• 검색을 통한 학습은 학습 시간을 약 6시간 증가시켜(24시간에서 30시간으로), 추론 시간은 k-NN 검색 오버헤드로 인해 26% 증가한다.