[논문 리뷰] Label-Attention Transformer with Geometrically Coherent Objects for Image Captioning

Shikha Dubey, Farrukh Olimov외 3명|arXiv (Cornell University)|2021. 09. 16.

Multimodal Machine Learning Applications참고 문헌 44인용 수 4

한 줄 요약

이 논문은 이미지 캡션 생성을 위한 레이블-어텐션 트랜스포머인 LATGeO를 제안한다. 이는 기하학적으로 일관된 객체 제안과 새로운 레이블-어텐션 모듈을 통합함으로써 캡션 품질을 향상시킨다. 객체 검출, 국소화된 기하 비율, 레이블 인식 어텐션을 활용하여 LATGeO는 MSCOCO에서 최신 기술 수준(SOTA) 성능을 달성했으며, CIDEr 점수 131.7과 BLEU-1 점수 81.0을 기록했다.

ABSTRACT

Automatic transcription of scene understanding in images and videos is a step towards artificial general intelligence. Image captioning is a nomenclature for describing meaningful information in an image using computer vision techniques. Automated image captioning techniques utilize encoder and decoder architecture, where the encoder extracts features from an image and the decoder generates a transcript. In this work, we investigate two unexplored ideas for image captioning using transformers: First, we demonstrate the enforcement of using objects' relevance in the surrounding environment. Second, learning an explicit association between labels and language constructs. We propose label-attention Transformer with geometrically coherent objects (LATGeO). The proposed technique acquires a proposal of geometrically coherent objects using a deep neural network (DNN) and generates captions by investigating their relationships using a label-attention module. Object coherence is defined using the localized ratio of the geometrical properties of the proposals. The label-attention module associates the extracted objects classes to the available dictionary using self-attention layers. The experimentation results show that objects' relevance in surroundings and binding of their visual feature with their geometrically localized ratios combined with its associated labels help in defining meaningful captions. The proposed framework is tested on the MSCOCO dataset, and a thorough evaluation resulting in overall better quantitative scores pronounces its superiority.

연구 동기 및 목표

• 기존 이미지 캡션 모델에서 객체 관계 및 시각-언어 정렬의 명시적 모델링 부족을 해결한다.
• 지역화된 객체 치수 비율을 정의한 기하학적 일관성 요소를 어텐션 메커니즘에 통합하여 캡션 품질을 향상시킨다.
• 디코딩 중에 검출된 객체 클래스와 언어적 구성 요소를 연결하는 레이블-어텐션 모듈을 도입하여 시각적 모odal과 언어 모달 간의 다리를 놓는다.
• 객체 수준의 특징, 공간 기하학, 레이블 인식 어텐션의 조합이 더 정확한 의미적 해석과 맥락적으로 관련된 캡션을 생성함을 입증한다.
• 앙상블 방법 없이 단일 모델 아키텍처를 사용하여 MS COCO 벤치마크에서 뛰어난 성능을 달성한다.

제안 방법

• 시각적 입력으로서 객체 제안을 얻기 위해 Faster R-CNN을 사용하여 세분화된 영역 수준의 특징을 제공한다.
• 객체 치수의 국소화된 비율(예: 높이/너비 또는 상대적 크기)을 측정하여 기하학적 일관성을 계산함으로써 공간 관계를 인코딩한다.
• 각 디코더 레이어에 자기 어텐션를 통해 객체 클래스 레이블을 사전 정보로 주입하는 레이블-어텐션 모듈(LAM)을 도입한다. 이는 의미 기반 정렬을 향상시킨다.
• 모든 인코더 출력이 모든 디코더 입력에 연결된 완전 연결형 인코더-디코더 트랜스포머 아키텍처를 사용하여 다중 수준의 특징 융합을 가능하게 한다.
• 크로스 엔트로피 손실을 사용하여 모델을 훈련하고, CIDEr 및 SPICE와 같은 조밀한 평가 지표를 최적화하기 위해 강화학습(PPO)을 사용해 미세조정한다.
• 인코더 및 디코더 스택에서 잔차 연결과 스킵 연결을 활용하여 훈련을 안정화하고 기울기 흐름을 향상시킨다.

실험 결과

연구 질문

• RQ1 지역화된 객체 치수 비율로 정의된 기하학적으로 일관된 객체 제안은 이미지 캡션 모델의 공간 추론 능력을 향상시키는가?
• RQ2 디코더 어텐션에 객체 레이블을 명시적으로 연관시키면 시각적 콘텐츠와 생성된 언어 간의 정렬이 향상되는가?
• RQ3 완전 연결형 인코더-디코더 트랜스포머 아키텍처는 표준 스택 기반 또는 스킵 연결 변형과 비교해 이미지 캡션에서 어떻게 성능을 내는가?
• RQ4 단일 모델 LATGeO 아키텍처가 자동 평가 및 인간 평가 지표 모두에서 다중 모델 앙상블을 초월할 수 있는가?
• RQ5 최신 기술 수준 성능를 달성하기 위한 최적의 인코더-디코더 레이어 연결 방식과 깊이 설정은 무엇인가?

주요 결과

• LATGeO는 MS COCO 테스트 세트에서 CIDEr 점수 131.7을 기록하여 이전 최신 기술 수준(SOTA) 방법을 뛰어넘는 단일 모델로 성능을 달성했다.
• 모델은 BLEU-1 점수 81.0을 기록하여 기준 캡션과의 n-gram 겹침 비율이 높다는 것을 나타낸다.
• 인코더 및 디코더 레이어에 잔차 연결이 있는 3층 완전 연결형 인코더-디코더 아키텍처가 가장 뛰어난 성능을 냈다.
• 제거 실험 결과, 레이블-어텐션 모듈이 성능 향상에 크게 기여함을 확인했으며, 특히 SPICE(22.9) 및 ROUGE-L(58.7) 지표에서 뚜렷한 향상이 있었다.
• 강화학습을 통한 미세조정은 CIDEr 및 SPICE 점수를 추가로 향상시켜 온라인 최적화의 효과를 입증했다.
• 기하학적으로 일관된 객체 제안을 사용함으로써 '앞쪽에' 또는 '옆에'와 같은 더 정확한 공간 기술이 가능해졌으며, 맥락적 현실감이 향상되었다.