[論文レビュー] Retrieval-Augmented Transformer for Image Captioning

Sara Sarto, Marcella Cornia+2 more|arXiv (Cornell University)|Jul 26, 2022

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

この論文では、視覚的特徴に基づくk-NN検索を用いて外部メモリから関連するテキスト記述を取得することで、生成品質を向上させるリtrieval-augmented Transformerを提案している。k-NN増強されたアテンション層を統合することにより、キャプションの多様性と正確性が向上し、強化学習で微調整した際、COCOでベースラインTransformerに比べ1.2 CIDErポイントの向上を達成し、最先端の性能を発揮した。

ABSTRACT

Image captioning models aim at connecting Vision and Language by providing natural language descriptions of input images. In the past few years, the task has been tackled by learning parametric models and proposing visual feature extraction advancements or by modeling better multi-modal connections. In this paper, we investigate the development of an image captioning approach with a kNN memory, with which knowledge can be retrieved from an external corpus to aid the generation process. Our architecture combines a knowledge retriever based on visual similarities, a differentiable encoder, and a kNN-augmented attention layer to predict tokens based on the past context and on text retrieved from the external memory. Experimental results, conducted on the COCO dataset, demonstrate that employing an explicit external memory can aid the generation process and increase caption quality. Our work opens up new avenues for improving image captioning models at larger scale.

研究の動機と目的

• モデルの記憶依存性を低減することで、高品質で多様な画像キャプションを生成する課題に対処すること。
• 視覚・言語生成における外部知識のリtrievalメカニズム統合の検討。
• モデルサイズやトレーニングコストを著しく増加させることなく、キャプション生成性能を向上させること。
• 外部メモリからのリtrievalが、視覚・言語文脈における生成品質を向上させることを評価すること。
• k-NN増強アテンションの実用性と有効性を示すこと。

提案手法

• モデルは視覚エンコーダを用いて画像特徴を抽出し、k-NN増強アテンション層を備えた微分可能なTransformerデコーダを使用する。
• 知識リトリーバーは、視覚埋め込み空間における近似k-NN検索を実行し、外部メモリから関連するテキストキャプションを取得する。
• k-NN増強アテンション層は、過去に生成されたトークンと取得されたテキストの両方に注目し、文脈に応じた生成を可能にする。
• 外部メモリは、多数の画像-キャプションペアのコーパスから構築され、視覚的特徴がインデックス化と関連するキャプションの検索に使用される。
• モデルはクロスエントロピー損失を用いてエンドツーエンドで訓練され、生成品質の向上を図るためCIDEr最適化によるさらに微調整が施される。
• デコード段階では、CPU上でk-NN検索が実行され、標準のTransformerに比べて推論時間が26%増加する。

実験結果

リサーチクエスチョン

• RQ1 モデルサイズを増加させずに、外部メモリリtrievalが画像キャプション生成性能を向上させられるか？
• RQ2 視覚的類似性に基づくk-NNリtrievalは、キャプション生成に適した関連テキスト記述を効果的に取得できるか？
• RQ3 k-NN増強アテンション層を介して取得したテキストを統合することで、より高品質で多様なキャプションが得られるか？
• RQ4 リtrieval増強モデルは、最先端のTransformerベースのキャプショナーやRETROアーキテクチャと比較してどうか？
• RQ5 取得されたキャプションの一部が不正確または入力画像と一致しなくても、モデルは性能を維持できるか？

主な発見

• 強化学習で微調整した際、標準のTransformerベースラインに比べ、リtrieval増強モデルは1.2 CIDErポイントの向上を達成した。
• COCOのKarpathyテストスプリットにおいて、すべての標準評価指標（BLEU、ROUGE、CIDEr、METEOR）で、他の最先端モデルを上回った。
• k-NN増強アテンション層は、特に記述的かつ多様なフレーズを生成する点で、キャプション品質を顕著に向上させた。
• 定性的な分析により、取得されたキャプションがしばしば視覚的コンテンツと一致し、モデルがより正確な記述（例：「高齢者のグループ」や「ジャンプする男性」）に導かれることが確認された。
• 一部の取得キャプションが関連性がなくても、モデルは視覚的特徴に依存して誤りを是正するなど、頑健性を維持した。
• リtrievalを用いたトレーニングにより、トレーニング時間が約6時間（24時間から30時間）増加したが、推論時間はk-NN検索のオーバーヘッドにより26%増加した。