[論文レビュー] Gated Hierarchical Attention for Image Captioning

Qingzhong Wang, Antoni B. Chan|arXiv (Cornell University)|Oct 30, 2018

Multimodal Machine Learning Applications参考文献 43被引用数 8

ひとこと要約

本稿では、畳み込みデコーダーを用いて低レベルおよび高レベルの視覚的特徴を統合することで、多段階のアテンションと動的特徴ゲーティングを可能にするゲーテッドハイアラルティカルアテンション（GHA）機構を提案する。この手法により、強化学習や属性ブースティングに依存せずにMSCOCOでCIDErスコアが0.999に向上する。

ABSTRACT

Attention modules connecting encoder and decoders have been widely applied in the field of object recognition, image captioning, visual question answering and neural machine translation, and significantly improves the performance. In this paper, we propose a bottom-up gated hierarchical attention (GHA) mechanism for image captioning. Our proposed model employs a CNN as the decoder which is able to learn different concepts at different layers, and apparently, different concepts correspond to different areas of an image. Therefore, we develop the GHA in which low-level concepts are merged into high-level concepts and simultaneously low-level attended features pass to the top to make predictions. Our GHA significantly improves the performance of the model that only applies one level attention, for example, the CIDEr score increases from 0.923 to 0.999, which is comparable to the state-of-the-art models that employ attributes boosting and reinforcement learning (RL). We also conduct extensive experiments to analyze the CNN decoder and our proposed GHA, and we find that deeper decoders cannot obtain better performance, and when the convolutional decoder becomes deeper the model is likely to collapse during training.

研究の動機と目的

• 視覚的特徴と言語生成の間で多段階のアテンションを可能にすることで、画像キャプション生成のパフォーマンスを向上させること。
• 単一レベルのアテンション機構が微細な視覚的文脈を捉えられないとする制限を解消すること。
• 並列計算を用いた順序付き言語生成をモデル化する際に、畳み込みデコーダーの有効性を調査すること。
• 画像キャプションにおけるより深い畳み込みデコーダーの安定性とパフォーマンスのトレードオフを分析すること。
• 関連性に基づいて、低レベルの視覚的特徴を高レベルの表現に選択的に伝えるゲーティング機構を開発すること。

提案手法

• 畳み込みデコーダーの複数の段階からの視覚的特徴を統合するゲーテッドハイアラルティカルアテンション（GHA）機構を提案する。
• 低レベル特徴を高レベル特徴に統合するボトムアップアプローチを採用し、ゲートが情報の流れを制御する。
• 視覚的ゲートを用いて不要な画像領域（例：画像の端縁）をフィルタリングし、コンセプトゲートを用いて文脈依存語を強調する。
• 13語を同時にモデル化可能な、カーネルサイズ3、6層のWord-CNNベースのデコーダーを採用し、推論速度とパフォーマンスを向上させる。
• 視覚的ゲート（空間的アテンション用）とコンセプトゲート（文脈的依存性用）の二重ゲーティング機構を導入し、トレーニング中に動的に学習する。
• 事前学習済みImage-CNNからの特徴マップを入力とし、デコーダー層ごとにアテンションを計算することで、階層的相互作用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 多段階の視覚的特徴を統合する階層的アテンション機構は、画像キャプション生成のパフォーマンスを向上させることができるか？
• RQ2 LSTMのような再帰モデルと比較して、畳み込みデコーダーはパフォーマンスおよびトレーニング安定性においてどのように異なるか？
• RQ3 視覚的ゲートおよびコンセプトゲートの導入により、特徴選択が向上し、アテンションの解釈可能性が向上するか？
• RQ4 画像キャプションにおける畳み込みデコーダーの最適な深さとカーネルサイズは何か？また、より深いアーキテクチャが常にパフォーマンスを向上させるのか？
• RQ5 強化学習や属性ブースティングに依存せずに、ゲーテッドハイアラルティカルアテンション機構は最先端モデルと同等のパフォーマンスを達成できるか？

主な発見

• 提案されたGHA機構により、MSCOCOデータセットにおけるCIDErスコアが0.923から0.999に向上し、強化学習や属性ブースティングを用いたモデルと同等のパフォーマンスを達成した。
• CIDErスコアが8.2%相対的に向上し、SPICEスコアも8.6%向上し、キャプションの品質と一致度に顕著な向上が見られた。
• より深い畳み込みデコーダー（例：6層以上）は、理論的な受容野が広がるが、トレーニングの不安定性やモデルの崩壊を引き起こす。
• カーネルサイズを3より大きく（例：5や7に）すると、パフォーマンスがわずかに低下し、CIDErスコアは0.923から0.914および0.913に低下した。
• アテンションが物体でない領域（例：画像の端）に注目している際、視覚的ゲートは主にオフとなる一方、機能語（例：'a' や 'of'）に対してはコンセプトゲートがより活発に働くことから、文脈依存性が確認された。
• ゲーティング機構により階層的スイッチングが可能となった：視覚的ゲートが局所的特徴をフィルタリングし、コンセプトゲートが下位デコーダー層で文脈理解を促進した。