[논문 리뷰] Exploring the sequence length bottleneck in the Transformer for Image Captioning

Jia Cheng Hu, Cavicchioli, Roberto외 1명|arXiv (Cornell University)|2022. 07. 07.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 이미지 캡션 생성을 위한 트랜스포머에서 입력 시퀀스 길이를 동적으로 또는 정적으로 조정함으로써 성능 향상을 이끌어내는 새로운 방법인 확장 기반 메커니즘(Expansion Mechanism)을 소개한다. 이는 자기주의(self-attention)나 순환 구조(recurrence)에 의존하지 않고도 성능 향상을 달성할 수 있도록 한다. 제안된 ExpansionNet 아키텍처는 자기주의나 RNN을 사용하지 않음에도 불구하고 SOTA 수준의 성능(134.6 CIDEr-D on MS-COCO 2014)을 달성하여, 시퀀스 길이 조작이 기존의 성능 저하 요인을 우회할 수 있음을 보여준다.

ABSTRACT

Most recent state of the art architectures rely on combinations and variations of three approaches: convolutional, recurrent and self-attentive methods. Our work attempts in laying the basis for a new research direction for sequence modeling based upon the idea of modifying the sequence length. In order to do that, we propose a new method called "Expansion Mechanism" which transforms either dynamically or statically the input sequence into a new one featuring a different sequence length. Furthermore, we introduce a novel architecture that exploits such method and achieves competitive performances on the MS-COCO 2014 data set, yielding 134.6 and 131.4 CIDEr-D on the Karpathy test split in the ensemble and single model configuration respectively and 130 CIDEr-D in the official online evaluation server, despite being neither recurrent nor fully attentive. At the same time we address the efficiency aspect in our design and introduce a convenient training strategy suitable for most computational resources in contrast to the standard one. Source code is available at https://github.com/jchenghu/exploring

연구 동기 및 목표

• 트랜스포머 기반 이미지 캡션 생성에서 입력 시퀀스 길이가 성능 저하 요인으로 작용하는지 조사하는 것.
• 모델 처리 길이를 원본 입력 시퀀스 길이에서 분리하는 방법을 제안하는 것.
• 경쟁적인 성능을 유지하면서도 자기주의나 순환 구조를 사용하지 않는 효율적인 아키텍처를 설계하는 것.
• 학습 비용을 줄이고, Tesla K80와 같은 표준 하드웨어에서도 실행 가능하게 하는 것.
• 시퀀스 모델링에서 시퀀스 길이 조작에 초점을 맞춘 새로운 연구 방향을 제시하는 것.

제안 방법

• 확장 기반 메커니즘은 학습 가능한, 미분 가능한 연산을 통해 입력 시퀀스를 새로운 길이로 변환하며, 이는 동적 및 정적 방식으로 모두 가능하다.
• 이 메커니즘은 시퀀스를 확장하거나 압축하는 전진 단계와 이후 레이어와의 호환성을 위해 원래 길이로 복원하는 역방향 단계를 포함한다.
• 이 방법은 자기주의나 순환 구조를 피하는 피드포워드와 잔차 연결만을 사용하는 새로운 아키텍처인 ExpansionNet에 통합된다.
• 계산 비용을 줄이기 위해 성능을 유지하면서도 적은 에포크 수와 작은 배치 크기를 사용하는 수정된 학습 전략을 채택한다.
• 확장은 디코더 이전의 시각적 특징에 적용되어, 입력 이미지의 변경 없이도 길이가 조정된 시퀀스를 처리할 수 있도록 한다.
• 아키텍처는 시퀀스 모델링을 위해가 아니라 특징 융합을 위해에만 교차 연결 주의(Cross-connection attention)를 사용하여 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 원래 입력 길이를 초월해 입력 시퀀스 길이를 조정하면 이미지 캡션 생성 성능이 향상될 수 있는가?
• RQ2 모델의 처리 길이를 입력 시퀀스 길이에서 분리하면 트랜스포머에서 발생하는 성능 저하 요인을 완화할 수 있는가?
• RQ3 자기주의나 순환 구조를 사용하지 않는 아키텍처가 이미지 캡션 생성에서 경쟁적인 성능을 낼 수 있는가?
• RQ4 성능을 저하시키지 않으면서도 계산 비용을 줄일 수 있는 더 효율적인 학습 전략을 설계할 수 있는가?
• RQ5 시퀀스 모델링 과제에서 자기주의나 순환 구조의 대안으로서 시퀀스 길이 조작이 실현 가능한가?

주요 결과

• Ensemble 모드에서 ExpansionNet은 Karpathy 테스트 분할에서 134.6 CIDEr-D를 기록하여, 많은 자기주의 기반 모델들을 능가했다.
• 단일 모델 설정에서 131.4 CIDEr-D를 달성하여, 자기주의나 순환 구조에 의존하지 않더라도 강력한 성능을 보였다.
• 공식 MS-COCO 온라인 평가 서버에서 130 CIDEr-D를 기록하여 성능의 견고성을 확인했다.
• 확장 기반 메커니즘이 처리 길이를 입력 길이에서 분리하여 효과적인 시퀀스 조작을 가능하게 했다.
• 제안된 학습 전략은 계산 비용을 크게 줄여, Tesla K80와 같은 표준 하드웨어에서도 실행 가능한 가능성을 보였다.
• 결과는 자기주의나 순환 구조가 이미지 캡션 생성에서 높은 성능을 내기 위해 필수적이라는 기존의 가정을 도전한다.