[論文レビュー] CPTR: Full Transformer Network for Image Captioning

Wei Liu, Sihan Chen+3 more|arXiv (Cornell University)|Jan 26, 2021

Multimodal Machine Learning Applications参考文献 20被引用数 108

ひとこと要約

CPTRはCNNエンコーダを完全なTransformerに置換し、生画像をパッチトークンへ逐次化することで、最初のエンコーダ層からグローバルコンテキストをモデル化でき、MSCOCOで強力な結果を達成します。

ABSTRACT

In this paper, we consider the image captioning task from a new sequence-to-sequence prediction perspective and propose CaPtion TransformeR (CPTR) which takes the sequentialized raw images as the input to Transformer. Compared to the "CNN+Transformer" design paradigm, our model can model global context at every encoder layer from the beginning and is totally convolution-free. Extensive experiments demonstrate the effectiveness of the proposed model and we surpass the conventional "CNN+Transformer" methods on the MSCOCO dataset. Besides, we provide detailed visualizations of the self-attention between patches in the encoder and the "words-to-patches" attention in the decoder thanks to the full Transformer architecture.

研究の動機と目的

• 完全なTransformerエンコーダを使って画像キャプション生成をシーケンス-to-sequenceタスクとして再考する。
• エンコーダから畳み込みを排除し、画像パッチを逐次処理する。
• 全てのエンコーダ層でグローバルコンテキストモデリングを実証し、アテンションパターンを分析する。
• デコーダの words-to-patches クロスアテンションがキャプション生成を効果的に導くことを示す。

提案手法

• 入力画像を固定サイズのパッチ（例：16x16）に分割し、パッチ列を形成するためにフラット化する。
• 線形パッチ埋め込みと学習可能な1D位置エンベディングを適用してTransformerエンコーダへ供給する。
• スタックされた自己注意とフィードフォワード層を持つエンコーダを使い、パッチ列から長距離依存性をモデル化する。
• デコーダではマスクされた自己注意と、正弦波的な語彙位置を用いたエンコーダ出力へのクロス注意を用いる。
• クロスエントロピー損失で訓練し、自己クリティカル訓練でファインチューニングしてキャプショニング性能を向上させる。
• MSCOCOで標準指標（BLEU, METEOR, ROUGE, CIDEr）で評価し、事前学習、画像解像度、デコーダ設定のアブレーションを報告する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みのない完全なTransformerベースのエンコーダは、パッチ列を直接処理してキャプション作成のための画像文脈を効果的にモデル化できるか？
• RQ2 自己注意で生画像パッチを処理することは、CNNベースのエンコーダよりもグローバルコンテキストのモデリングを改善するか？
• RQ3 パッチレベルの自己注意とwords-to-patchesクロスアテンションはキャプション品質にどのように影響するか？
• RQ4 事前学習、入力解像度、デコーダ設定はCPTRの性能にどのような影響を与えるか？

主な発見

方法	B-1	B-2	B-3	B-4	M	R	C
CPTR	81.7	66.6	52.2	40.0	29.1	59.4	129.4
ETA	81.5			39.3	58.9	126.6
ORT	80.5			38.6	58.4	128.3

• CPTRはMSCOCO Karpathyテスト分割で多くのCNNベースおよびCNN+Transformerベースのベースラインより高いCIDErスコアを達成（CIDEr 129.4）.
• オンラインCOCOテストサーバーでは、CPTRはCIDEr 129.4を獲得し、いくつかのCNN+RNNおよびCNN+Transformer手法を上回る。
• ViT（ImageNet-21K）でエンコーダを事前訓練し、ImageNet 2012でファインチューニングすると、スクラッチからの訓練より顕著なCIDErの利得が得られる。
• 入力解像度を224x224から384x384へ16x16パッチで増やすと、事前学習でファインチューニングした場合などCIDErが大幅に改善される（例：116.5）。
• このモデルは、エンコーダ自己注意が全層にわたり初期層から局所およびグローバルコンテキストを捕捉できることを示しており、アテンションマップで視覚化される。