[論文レビュー] Instance-aware Image and Sentence Matching with Selective Multimodal LSTM

Yan Huang, Wei Wang+1 more|arXiv (Cornell University)|Nov 17, 2016

Multimodal Machine Learning Applications参考文献 30被引用数 8

ひとこと要約

本論文は、マルチモーダルなコンテキスト制御型アテンションメカニズムを用いて、顕著な画像と文のインスタンスペアを動的に選択することで、インスタンスに敏感な画像と文のマッチングのための選択的マルチモーダルLSTMネットワーク（sm-LSTM）を提案する。モデルは局所的な類似度を逐次測定し、LSTM隠れ状態を介してそれを集約してグローバルなマッチングスコアを生成する。これにより、グローバルコンテキストを効果的に活用することでインスタンス選択を向上させ、画像キャプション生成およびリtrievalベンチマークで最先端の性能を達成する。

ABSTRACT

Effective image and sentence matching depends on how to well measure their global visual-semantic similarity. Based on the observation that such a global similarity arises from a complex aggregation of multiple local similarities between pairwise instances of image (objects) and sentence (words), we propose a selective multimodal Long Short-Term Memory network (sm-LSTM) for instance-aware image and sentence matching. The sm-LSTM includes a multimodal context-modulated attention scheme at each timestep that can selectively attend to a pair of instances of image and sentence, by predicting pairwise instance-aware saliency maps for image and sentence. For selected pairwise instances, their representations are obtained based on the predicted saliency maps, and then compared to measure their local similarity. By similarly measuring multiple local similarities within a few timesteps, the sm-LSTM sequentially aggregates them with hidden states to obtain a final matching score as the desired global similarity. Extensive experiments show that our model can well match image and sentence with complex content, and achieve the state-of-the-art results on two public benchmark datasets.

研究の動機と目的

• 画像のオブジェクトと文の語の間のローカルなインスタンスレベルの相互作用を無視する1対1マッチング手法の制限を解消すること。
• 無差別な多数対多数マッチングによる非効率性とノイズを克服し、顕著な画像-文インスタンスペアにのみ選択的に注目すること。
• 外部の検出器やアノテーションに依存せずに、統合的なインスタンス選択、局所的類似度学習、グローバル類似度集約をエンドツーエンドで学習可能にすること。
• マルチモーダルなグローバルコンテキストを用いて動的かつコンテキストに敏感なアテンションをガイドすることで、マッチングの正確性を向上させること。

提案手法

• 各LSTMタイムステップで、画像領域と文の語の間のインスタンスに敏感な顕著性マップを予測するマルチモーダルなコンテキスト制御型アテンションメカニズムを提案する。
• 選択された画像と文のインスタンスの顕著性重み付き表現を用いて、局所的類似度スコアを計算する。
• LSTMアーキテクチャを用いて、隠れ状態を通じて複数の局所的類似度を逐次集約し、最終的なグローバルマッチングスコアを生成する。
• すべての潜在的インスタンスにわたるバランスの取れたアテンションを促進するため、ペアワイズ二重確率的正則化項を含む構造的目的関数を導入する。
• グローバルな視覚的および言語的コンテキストを参照として用い、選択的アテンションをガイドすることで、インスタンス選択のロバスト性と正確性を向上させる。
• マッチドとアンマッチドの画像-文ペア間の相対的な類似度順序を保持するように、構造的ランク付け目的関数を用いて、モデル全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 逐次的アテンションメカニズムは、マッチングのための最も意味的に関連性の高い画像-文インスタンスペアを効果的に特定し、注目できるか？
• RQ2 アテンションメカニズムにマルチモーダルなグローバルコンテキストを組み込むことで、インスタンス選択の正確性とロバスト性が向上するか？
• RQ3 LSTMによる選択的局所的類似度測定と集約は、画像-文マッチングにおいて非選択的かつ包括的なペアワイズ比較を上回るか？
• RQ4 二重確率的正則化項の使用は、アテンション分布および全体的なマッチング性能にどのように影響するか？

主な発見

• sm-LSTMモデルは、画像キャプション生成および画像リtrievalベンチマークの両方で最先端の性能を達成し、先行手法を上回る。
• ペアワイズ二重確率的正則化項の導入により、性能が顕著に向上し、特に画像アノテーションにおいてλ = 100が最良の結果をもたらした。
• 可視化により、モデルがタイムステップに応じて意味的に整合性のある画像領域と文の語（例：'giraffe'、'children'、'park'）に動的に注目していることが確認された。
• アブレーションスタディの結果、グローバルコンテキストの制御が極めて重要であることが示された。これがないと、モデルは最初の数ステップを除き意味のあるインスタンスに注目できなくなる。
• 平均化された顕著性マップは、人間の視覚的注意と一致する中心寄りのパターンを示しており、モデルが生物学的に妥当な注意ダイナミクスを学習していることが示唆された。