[論文レビュー] Learning to Collocate Neural Modules for Image Captioning

Xu Yang, Hanwang Zhang+1 more|arXiv (Cornell University)|Apr 18, 2019

Multimodal Machine Learning Applications参考文献 48被引用数 18

ひとこと要約

本稿では、名詞、形容詞、動詞などの内容固有のニューラルモジュールを動的に組み合わせることで、人間の文構造生成に類似した方法で文を生成する、学習可能なコロケーションニューラルモジュール（CNM）という新しい画像キャプションフレームワークを提案する。ソフトモジュール統合、多段階推論、品詞のコロケーションを強制する言語的損失を用いることで、CNMは最先端の性能を達成し、Karpathyスプリットでは127.9のCIDEr-D、公式MS-COCOテストサーバーでは126.0のc40を記録した。また、低データ設定でも安定性を保つ。

ABSTRACT

We do not speak word by word from scratch; our brain quickly structures a pattern like extsc{sth do sth at someplace} and then fill in the detailed descriptions. To render existing encoder-decoder image captioners such human-like reasoning, we propose a novel framework: learning to Collocate Neural Modules (CNM), to generate the `inner pattern' connecting visual encoder and language decoder. Unlike the widely-used neural module networks in visual Q\&A, where the language (ie, question) is fully observable, CNM for captioning is more challenging as the language is being generated and thus is partially observable. To this end, we make the following technical contributions for CNM training: 1) compact module design --- one for function words and three for visual content words (eg, noun, adjective, and verb), 2) soft module fusion and multi-step module execution, robustifying the visual reasoning in partial observation, 3) a linguistic loss for module controller being faithful to part-of-speech collocations (eg, adjective is before noun). Extensive experiments on the challenging MS-COCO image captioning benchmark validate the effectiveness of our CNM image captioner. In particular, CNM achieves a new state-of-the-art 127.9 CIDEr-D on Karpathy split and a single-model 126.0 c40 on the official server. CNM is also robust to few training samples, eg, by training only one sentence per image, CNM can halve the performance loss compared to a strong baseline.

研究の動機と目的

• 既存の画像キャプション生成モデルに内在する誘導的バイアスの欠如が、データセットバイアスや一般化性能の低下を引き起こすという問題に対処する。
• 人間の文構造形成に類似した方法——視覚的コンセプトを埋め込む前にテンプレートを構造化する——を模倣することで、キャプション生成を誤った共起パターンから分離する。
• 部分観測状態下でも、視覚的および言語的要素を構造的・段階的に推論できる、モジュラーで微分可能なフレームワークを構築する。
• 1枚の画像に対して1つのキャプションしか与えられないような低データ環境でも、構造的推論を活用することで、より高い耐性を発揮する。

提案手法

• CNMは、機能語（例：'a'）を処理するモジュールと、視覚的コンテンツ語（名詞、形容詞、動詞）を処理する3つのモジュールの合計4つの異なるニューラルモジュールを採用する。各モジュールは特定の品詞タイプの生成を担当する。
• 各デコードステップで、現在の隠れ状態に基づいて、全4モジュールの出力をソフトアテンションで統合することで、部分観測下でも動的かつ頑健なモジュール選択が可能になる。
• 多段階推論は、モジュールを逐次的にスタックすることで実装され、文構造の段階的精錬を通じて複雑なフレーズの生成を可能にする。
• 言語的損失を導入し、モジュールアテンションが品詞のコロケーション（例：形容詞は名詞の前に来ること）に一致するように制約を課すことで、文法的正確性を向上させる。
• エンドツーエンドでクロスエントロピー損失を用いて訓練し、各コンポonentの寄与度を検証するためのアブレーションスタディも実施する。
• CNMは、言語バイアスを保持し、意味的表現を強化する文のグラフアテンションエンコーダー（SGAE）と組み合わせることでさらに向上する。

実験結果

リサーチクエスチョン

• RQ1 モジュラーでパターンベースのアプローチにより、高頻度共起語ペアのようなデータセット固有のバイアスに依存するのを減らすことができるか？
• RQ2 生成過程で言語出力が部分的にしか観測されない状況下でも、ソフトモジュール統合と多段階推論がどのように耐性を向上させるか？
• RQ3 品詞の順序などの言語的制約を強制することで、生成キャプションの文法的正確性とスムーズさはどの程度向上するか？
• RQ4 提案されたモジュールコロケーションフレームワークは、1枚の画像に対して1つのキャプションしか与えられないような低データ学習環境でも効果的に一般化できるか？
• RQ5 常識的推論モジュールを統合すると性能にどのような影響を与え、文脈的に適切な形容詞の生成という限界を克服できるか？

主な発見

• CNMは、MS-COCOのKarpathyスプリットで127.9のCIDEr-Dという、これまでにない最先端のスコアを達成し、大規模なアーキテクチャを持つ強力なベースラインや他の最先端モデルを上回った。
• 公式MS-COCOテストサーバーでは、1モデルでCIDEr-Dが126.0に達し、アンサンブル手法を用いずに優れた一般化性能と競争力のある性能を示した。
• 1枚の画像に対して1つのキャプションしか与えられない状況で微調整した場合、強力なベースラインと比較して性能低下を半減させた。これは、データ効率性に優れていることを示している。
• 言語的損失により、文法的正確性が著しく向上し、'man standing'のような高頻度共起ペアへの過剰適合が減少し、より正確な記述が可能になった。
• CNM+SGAEは、公式サーバーでCIDEr-Dが126.0、c40スプリットで123.8を記録した。言語バイアスモデリングを統合することで、性能がさらに向上した。
• アブレーションスタディにより、ソフトモジュール統合と多段階推論が、特に生成過程での部分観測下でも耐性を確保するために不可欠であることが確認された。