[論文レビュー] Exploring the sequence length bottleneck in the Transformer for Image Captioning

Jia Cheng Hu, Cavicchioli, Roberto+1 more|arXiv (Cornell University)|Jul 7, 2022

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本論文では、画像キャプション生成のためのTransformerにおいて、入力系列長を動的・静的に変更する新しい手法、拡張機構（Expansion Mechanism）を紹介する。この手法により、自己注意機構や再帰構造に依存せずに性能向上を達成できる。提案されたExpansionNetアーキテクチャは、自己注意機構やRNNを用いていないにもかかわらず、MS-COCO 2014で134.6 CIDEr-DというSOTAクラスの結果を達成しており、従来のボトル neck を回避するための系列長の操作が有効であることを示している。

ABSTRACT

Most recent state of the art architectures rely on combinations and variations of three approaches: convolutional, recurrent and self-attentive methods. Our work attempts in laying the basis for a new research direction for sequence modeling based upon the idea of modifying the sequence length. In order to do that, we propose a new method called "Expansion Mechanism" which transforms either dynamically or statically the input sequence into a new one featuring a different sequence length. Furthermore, we introduce a novel architecture that exploits such method and achieves competitive performances on the MS-COCO 2014 data set, yielding 134.6 and 131.4 CIDEr-D on the Karpathy test split in the ensemble and single model configuration respectively and 130 CIDEr-D in the official online evaluation server, despite being neither recurrent nor fully attentive. At the same time we address the efficiency aspect in our design and introduce a convenient training strategy suitable for most computational resources in contrast to the standard one. Source code is available at https://github.com/jchenghu/exploring

研究の動機と目的

• Transformerベースの画像キャプション生成における入力系列長が性能ボトル neck として機能するかどうかを調査すること。
• モデルの処理長を元の入力系列長から分離する手法を提案すること。
• 競争力のある性能を維持しつつ、非注意機構・非再帰的アーキテクチャを効率的に設計すること。
• Tesla K80などの標準ハードウェアでも実行可能な、計算コストを低減した訓練戦略を実現すること。
• 系列モデリングにおける系列長の操作に注目した、新たな研究分野を切り開くこと。

提案手法

• 拡張機構は、学習可能で微分可能な操作を用いて、入力系列を新たな長さに変換する。この操作は動的・静的の両方で実行可能である。
• この機構には、系列を拡張または圧縮する前方処理ステップと、以降の層との互換性を保つために元の長さに再構築する後方処理ステップが含まれる。
• この手法は、自己注意機構や再帰構造を避ける、唯一フィードフォワードと残差接続のみを用いる新しいアーキテクチャ、ExpansionNetに統合されている。
• 計算コストを低減しつつ性能を維持するため、エポック数を減らし、バッチサイズも小さくした修正された訓練戦略を採用している。
• 拡張処理はデコーダーの手前で視覚特徴に対して適用されており、入力画像を変更せずに、変更された長さの系列を処理できる。
• 特徴統合にはクロス接続注意機構を用いているが、これは系列モデリングの目的ではなく、効率性を保つために設計されている。

実験結果

リサーチクエスチョン

• RQ1 元の入力長を超えて入力系列長を変更することで、画像キャプション生成の性能向上が達成できるか？
• RQ2 モデルの処理長を入力系列長から分離することで、Transformerにおける性能ボトル neck が緩和されるか？
• RQ3 非注意機構・非再帰的アーキテクチャでも、画像キャプションタスクで競争力のある結果を達成できるか？
• RQ4 計算コストを削減しつつ性能を損なわせない、より効率的な訓練戦略を設計できるか？
• RQ5 系列長の操作は、系列モデリングタスクにおいて自己注意機構や再帰構造の代替手段として実用的であるか？

主な発見

• EnsembleモードでKarpathyテストスプリットで134.6 CIDEr-Dを達成し、多くの自己注意ベースのモデルを上回った。
• 単一モデル設定でも131.4 CIDEr-Dを達成し、自己注意機構や再帰構造に依存しない強力な性能を示した。
• 公式のMS-COCOオンライン評価サーバーでも130 CIDEr-Dを達成し、モデルの頑健性を確認した。
• 拡張機構により、処理長と入力長の分離に成功し、効果的な系列操作が可能になった。
• 提案された訓練戦略により、計算コストを顕著に低減でき、Tesla K80のような標準ハードウェアでも実行可能になった。
• これらの結果は、画像キャプションタスクにおける高い性能を発揮するには自己注意機構や再帰構造が不可欠であるという一般的な仮定に疑問を呈するものである。