[論文レビュー] Cross-media Multi-level Alignment with Relation Attention Network

Jinwei Qi, Yuxin Peng+1 more|arXiv (Cornell University)|Apr 25, 2018

Multimodal Machine Learning Applications参考文献 16被引用数 5

ひとこと要約

本稿では、視覚的・言語的関係注意メカニズムを用いて、グローバル、ローカル、関係的という複数レベルのアライメントをモデル化する、クロスメディア検索のための新規フレームワークであるCross-media Relation Attention Network (CRAN) を提案する。画像とテキストモダリティ間で微細なパッチとそれらの相互依存関係を同時に捉えることで、2つのベンチマークデータセットで最先端の性能を達成し、10の既存手法を上回る。

ABSTRACT

With the rapid growth of multimedia data, such as image and text, it is a highly challenging problem to effectively correlate and retrieve the data of different media types. Naturally, when correlating an image with textual description, people focus on not only the alignment between discriminative image regions and key words, but also the relations lying in the visual and textual context. Relation understanding is essential for cross-media correlation learning, which is ignored by prior cross-media retrieval works. To address the above issue, we propose Cross-media Relation Attention Network (CRAN) with multi-level alignment. First, we propose visual-language relation attention model to explore both fine-grained patches and their relations of different media types. We aim to not only exploit cross-media fine-grained local information, but also capture the intrinsic relation information, which can provide complementary hints for correlation learning. Second, we propose cross-media multi-level alignment to explore global, local and relation alignments across different media types, which can mutually boost to learn more precise cross-media correlation. We conduct experiments on 2 cross-media datasets, and compare with 10 state-of-the-art methods to verify the effectiveness of proposed approach.

研究の動機と目的

• 既存のクロスメディア検索手法がグローバルまたはローカルアライメントにのみ注目しているという制限を解消し、関係的文脈を無視しないようにする。
• 視覚的・言語的微細パッチ間の内在的関係をモデル化することで、クロスメディア相関学習を向上させる。
• グローバル、ローカル、関係的レベルのアライメントを統合する統一フレームワークを構築し、類似度測定を強化する。
• 標準的なクロスメディアデータセット上で、10の最先端手法を上回る優れた検索精度を示す。

提案手法

• 判別的な画像領域とキーワード、およびそれらの視覚的・言語的文脈における相互依存関係を同時に注目する、視覚的・言語的関係注意メカニズムを提案する。
• 全インスタンス間のグローバルアライメント、微細パッチ間のローカルアライメント、文脈的構造間の関係アライメントを同時にモデル化するマルチレベルアライメント戦略を設計する。
• 深層ニューラルネットワークを用いて共有空間に統合表現を学習し、異種メディア間でコサイン類似度を直接計算可能にする。
• 特徴統合中にローカルパッチとその関係的文脈の重要度を動的に重み付けるために、注目メカニズムを統合する。
• 対照的損失を用いてエンドツーエンドでモデルを学習し、クロスメディア相関学習を最適化する。
• すべてのベースライン手法で一貫した特徴抽出と次元数を確保することで、公平な比較を実現する。

実験結果

リサーチクエスチョン

• RQ1 微細パッチ間の関係をモデル化することで、グローバルおよびローカルアライメントを超えてクロスメディア相関学習が向上するか？
• RQ2 グローバル、ローカル、関係的という複数レベルのアライメントの統合が、クロスメディアタスクにおける検索性能にどのように影響するか？
• RQ3 提案された視覚的・言語的関係注意メカニズムは、従来の注目メカニズムやグローバルプーリングと比較して、特徴表現をどの程度向上させるか？
• RQ4 提案されたCRANフレームワークは、標準的なベンチマーク上での既存の最先端手法を上回るか？

主な発見

• CRANは、MS-COCOおよびNUS-WIDEの両データセットで最高の検索精度を達成し、10の最先端手法を上回った。
• アブレーションスタディの結果、ローカルアライメントを追加することでグローバルのみのベースラインを上回り、さらに関係アライメントを追加することで最良の結果が得られた。
• 視覚的・言語的関係注意モデルは、ローカル特徴とその関係的文脈からの補完的ヒントを効果的に捉えており、相関学習を強化した。
• CCLのようなディープラーニングベースの手法は強力な性能を示すが、CRANは複数レベルのアライメントを明示的にモデル化することでそれらを上回った。
• CCA や KCCA などの従来手法はディープラーニングベースラインと比較して性能が低く、より表現力のあるアーキテクチャの必要性を示している。
• 提案されたCRANフレームワークは、両データセットで一貫した優位性を示しており、ロバストネスと一般化能力を兼ね備えていることがわかった。