[논문 리뷰] Exploiting Multiple Sequence Lengths in Fast End to End Training for Image Captioning

Jia Cheng Hu, Roberto Cavicchioli외 1명|arXiv (Cornell University)|2022. 08. 13.

Multimodal Machine Learning Applications참고 문헌 55인용 수 20

한 줄 요약

논문은 임의의 시퀀스 길이를 처리하기 위한 Expansion 메커니즘을 도입하여 ExpansionNet v2가 offline 및 online 평가에서 MS COCO 2014의 벤치마크를 능가하고 엔드-투-엔드 학습을 더 빠르게 달성하도록 합니다.

ABSTRACT

We introduce a method called the Expansion mechanism that processes the input unconstrained by the number of elements in the sequence. By doing so, the model can learn more effectively compared to traditional attention-based approaches. To support this claim, we design a novel architecture ExpansionNet v2 that achieved strong results on the MS COCO 2014 Image Captioning challenge and the State of the Art in its respective category, with a score of 143.7 CIDErD in the offline test split, 140.8 CIDErD in the online evaluation server and 72.9 AllCIDEr on the nocaps validation set. Additionally, we introduce an End to End training algorithm up to 2.8 times faster than established alternatives. Source code available at: https://github.com/jchenghu/ExpansionNet_v2

연구 동기 및 목표

• 동기: 고정된 입력 시퀀스 길이가 이미지 캡션 생성에서 상태 비저장(stateless) 아키텍처의 병목이 될 수 있다.
• Forward에서 입력 내용을 가변 길이 시퀀스로 분산시키고 역방향에서 원래 길이를 복구하도록 Expansion 메커니즘을 제안한다.
• 전통적 어텐션에 과도하게 의존하지 않으면서 Static 및 Dynamic Expansion을 활용하는 ExpansionNet v2 아키텍처를 개발한다.

제안 방법

• Forward 패스에서 입력을 임의의 개수의 요소로 확장하고 backward 패스에서 원래 길이로 되돌리는 Expansion 메커니즘을 도입한다.
• Forward 및 Backward Expansion 단계와 함께 Static Expansion 및 Dynamic Expansion(자회귀형 및 양방향 변형)을 정의한다.
• Dynamic Expansion에서 expansion 쿼리와 바이어스를 계산하기 위해 BroadSum 연산자를 사용한다.
• Swin-Transformer 백본 위의 인코더–디코더에 Expansion 층을 통합한다(ExpansionNet v2).
• 두 단계 목표로 학습: 교차 엔트로피 손실 후 CIDEr-D 최적화 강화 학습(SCST).
• 백본 고정과 이후 미세 조정을 포함하는 4단계 엔드-투-엔드 학습 일정 채택.

실험 결과

연구 질문

• RQ1 처리 과정에서 가변 길이 또는 확장된 시퀀스 길이를 허용하는 것이 고정 길이의 어텐션 기반 모델과 비교하여 이미지 캡션 성능을 향상시키는가?
• RQ2 Heavy 사전 학습에 의존하지 않고도 ExpansionNet v2가 offline 및 online 평가에서 MS COCO 2014에서 경쟁력 있거나 최첨단 결과를 달성할 수 있는가?
• RQ3 학습 속도와 FLOPs 측면에서 Expansion 메커니즘의 계산적 트레이드오프는 무엇인가?
• RQ4 Static Expansion과 Dynamic Expansion이 개별적으로, 그리고 함께 성능에 어떤 기여를 하는가?

주요 결과

• ExpansionNet v2는 MS COCO 2014에서 오프라인 143.7 CIDEr-D와 온라인 140.8 CIDEr-D를 달성한다.
• ExpansionNet v2는 nocaps 검증 세트에서 AllCIDEr 72.9를 달성한다.
• Static Expansion과 Dynamic Expansion은 지표 전반에서 벤치마크를 상회하며, 특히 Dynamic Expansion이 눈에 띄는 이득을 제공한다.
• 온라인 및 오프라인 결과에서 ExpansionNet v2가 Karpathy 분할의 여러 단일 모델 벤치마크를 능가한다(예: CIDEr-D 개선).
• 모델은 엔드투엔드 학습이 다른 많은 대안들보다 빠르며, 학습 시간은 비생성 모델 중 다수보다 상당히 짧고 많은 생성 모델에 비해 두드러지게 빠르다.
• ExpansionNet v2는 데이터 양과 모델 크기가 훨씬 작으면서도 최첨단 V+L 사전학습 모델과 경쟁력을 유지한다.