[논문 리뷰] Image Captioning In the Transformer Age

Yang Xu, Li Li외 4명|arXiv (Cornell University)|2022. 04. 15.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 종합 검토는 트랜스포머 시대의 이미지 캡션 생성 기술의 발전을 탐구하며, 대규모 시각-언어 모델의 부상에도 불구하고 이미지 캡션 생성이 다중모달 AI 발전에 있어 여전히 필수적이라고 주장한다. 이는 종단간 학습을 가능하게 하는 동종성 있는 트랜스포머 기반 아키텍처를 지지하며, 캡션 생성 연구가 더 풍부하고 의미 기반의 주석을 통해 자기지도 학습, 프롬프트 기반 모델, 순수 시각 작업 등에 기여하는 방식을 보여준다.

ABSTRACT

Image Captioning (IC) has achieved astonishing developments by incorporating various techniques into the CNN-RNN encoder-decoder architecture. However, since CNN and RNN do not share the basic network component, such a heterogeneous pipeline is hard to be trained end-to-end where the visual encoder will not learn anything from the caption supervision. This drawback inspires the researchers to develop a homogeneous architecture that facilitates end-to-end training, for which Transformer is the perfect one that has proven its huge potential in both vision and language domains and thus can be used as the basic component of the visual encoder and language decoder in an IC pipeline. Meantime, self-supervised learning releases the power of the Transformer architecture that a pre-trained large-scale one can be generalized to various tasks including IC. The success of these large-scale models seems to weaken the importance of the single IC task. However, we demonstrate that IC still has its specific significance in this age by analyzing the connections between IC with some popular self-supervised learning paradigms. Due to the page limitation, we only refer to highly important papers in this short survey and more related works can be found at https://github.com/SjokerLily/awesome-image-captioning.

연구 동기 및 목표

• 기존의 CNN-RNN 이종 아키텍처가 시각적 및 언어적 구성 요소 간의 구조적 불일치로 인해 종단간 훈련이 어려운 점을 분석함으로써, 이미지 캡션 생성에서의 한계를 분석한다.
• 대규모 사전 훈련된 시각-언어 모델의 시대에 들어 이미지 캡션 생성 작업이 여전히 독특한 의미를 지닌 이유를 주장한다.
• 어 attention 메커니즘, 구조적 인도적 편향, 훈련 목표 등 이미지 캡션 기반 기술이 프롬프트 기반 및 자기지도 학습 시각-언어 모델의 개발에 어떻게 기여하고 향상시킬 수 있는지 탐색한다.
• 이미지 캡션 데이터는 의미적 및 관계적 정보가 풍부하여, 학습 효율성이 낮다는 점을 감안하더라도 순수 시각 작업(예: 분류, 검출)에 효과적으로 활용될 수 있음을 보여준다.
• 이종 인코더-디코더 파이프라인에서 기인하는 종단간 훈련 장벽을 극복하기 위해 이미지 캡션 생성에 트랜스포머 기반 동종 아키텍처를 도입할 것을 주장한다.

제안 방법

• 시각 인코더와 언어 디코더 모두를 트랜스포머 아키텍처로 구현한 동종 트랜스포머 기반 아키텍처를 제안하여 통합 최적화와 종단간 훈련을 가능하게 한다.
• 이종 아키텍처 시대의 세 가지 핵심 전략을 검토하고 확장한다: 강력한 시각 인코더, 고급 attention 메커니즘, 구조적 인도적 편향이며, 이를 트랜스포머 프레임워크에 적응시킨다.
• CLIP와 같은 대규모 자기지도 학습 사전 훈련 파라다임과의 유사성과 상호보완적 강점을 분석함으로써, 이미지 캡션과의 연결 고리를 분석한다.
• 캡션 데이터셋에서 유래한 이미지-텍스트 쌍을, 데이터 효율성의 도전 과제가 있음에도 불구하고, 저수준 시각 작업에 대한 제로샷 전이를 위한 풍부한 의미 주석 데이터로 활용할 수 있음을 강조한다.
• 개념을 분리하는 데 도움이 되는 모듈러 네트워크와 같은 아키텍처 혁신을 논의하여, 데이터 활용도를 향상시키고 훈련 부담을 줄인다.
• 캡션 연구에서 개발된 강화 학습 기반 훈련 목표 및 CIDEr와 같은 평가 지표가 프롬프트 기반 시각-언어 모델의 훈련 및 평가에 어떻게 기여할 수 있는지 논의한다.

실험 결과

연구 질문

• RQ1 왜 기존의 CNN-RNN 아키텍처는 종단간 훈련에 본질적으로 부적합한가? 그리고 어떤 아키텍처 전환이 이를 해결할 수 있는가?
• RQ2 대규모 시각-언어 모델의 부상은 이미지 캡션 작업의 관련성과 중요성에 어떤 영향을 미치는가?
• RQ3 이미지 캡션 연구는 프롬프트 기반 및 자기지도 학습 시각-언어 모델의 발전에 어떤 방식으로 기여할 수 있는가?
• RQ4 이미지 캡션 데이터는 분류나 검출과 같은 순수 시각 작업에 효과적으로 활용될 수 있는가? 그 과정에서의 도전 과제는 무엇인가?
• RQ5 캡션에서 유래한 구조적 인도적 편향과 attention 메커니즘은 현대 트랜스포머 기반 다중모달 모델의 성능 향상에 어떤 역할을 하는가?

주요 결과

• 이종 CNN-RNN 아키텍처는 시각 모듈과 언어 모듈 간 공유 요소가 없어, 시각 인코더로의 기울기 전파가 제한되어 종단간 훈련에 본질적으로 한계가 있다.
• 트랜스포머 아키텍처는 동일한 attention 기반 메커니즘을 통해 시각 인코더와 언어 디코더를 통합함으로써 종단간 최적화를 가능하게 하여 동종 솔루션을 제공한다.
• CLIP와 같은 대규모 사전 훈련 모델의 성공에도 불구하고, 이미지 캡션 생성은 의미 기반의 풍부한 감독 신호를 제공하는 다중모달 학습을 위한 기초 작업으로서 여전히 핵심적이다.
• 객체, 속성, 관계에 대한 포괄적인 주석이 포함된 이미지 캡션 데이터는 고정된 숫자 레이블을 가진传통적 데이터셋보다 더 의미적으로 풍부하고 다양한 감독 신호를 제공한다.
• 캡션에서 모듈러 아키텍처를 활용하면 개념을 분리함으로써 데이터 효율성을 향상시켜 동일한 성능를 달성하기 위한 데이터 양을 줄일 수 있다.
• 이미지 캡션 연구에서 개발된 훈련 목표 및 평가 지표(예: CIDEr, 강화 학습 전략)는 프롬프트 기반 및 자기지도 학습 시각-언어 모델의 향상에 직접적으로 적용될 수 있다.