[論文レビュー] Learning Multimodal Word Representation via Dynamic Fusion Methods

Shaonan Wang, Jiajun Zhang+1 more|arXiv (Cornell University)|Jan 2, 2018

Topic Modeling参考文献 24被引用数 6

ひとこと要約

本稿では、多モodal単語表現学習における言語的および視覚的モダリティのための適応的重みを学ぶ3つの動的融合手法—モダリティ固有ゲート、カテゴリ固有ゲート、サンプル固有ゲート—を提案する。語の関連ペアからの弱い教師信号を用いて、コンクリート語とアブストラクト語の明確な違いを示す重みが学習される。6つのベンチマークで、強力な単モダリティおよび最先端のマルチモダリティベースラインを上回る性能を発揮する。

ABSTRACT

Multimodal models have been proven to outperform text-based models on learning semantic word representations. Almost all previous multimodal models typically treat the representations from different modalities equally. However, it is obvious that information from different modalities contributes differently to the meaning of words. This motivates us to build a multimodal model that can dynamically fuse the semantic representations from different modalities according to different types of words. To that end, we propose three novel dynamic fusion methods to assign importance weights to each modality, in which weights are learned under the weak supervision of word association pairs. The extensive experiments have demonstrated that the proposed methods outperform strong unimodal baselines and state-of-the-art multimodal models.

研究の動機と目的

• 既存のマルチモダリティモデルが、語の種類に関係なくすべてのモダリティに等しい重みを割り当てているという限界を解消すること。
• 語の関連ペアからの弱い教師信号を用いて、意味的類似性を反映するモダリティ固有の融合重みを学ぶこと。
• コンクリート語は知覚（視覚的）入力に依存するのに対し、アブストラクト語は言語的入力に依存するという仮説をモデル化すること。
• 語の種類、モダリティ、またはカテゴリに応じて、融合重みを動的に調整することでマルチモダリティ単語表現を向上させること。
• アブストラクト語とコンクリート語が脳内で異なる方法でエンコードされるという認知理論を、計算的証拠で裏付けること。

提案手法

• 言語的および視覚的モダリティのための注意重みを学ぶ3つの動的融合メカニズム—モダリティ固有ゲート（M-gate）、カテゴリ固有ゲート（C-gate）、サンプル固有ゲート（S-gate）—を導入。
• 語の関連ペア（例：wealthy-rich, jigsaw-puzzle）を弱い教師信号として用い、モデルがモダリティの重要度重みを学ぶように誘導する。
• 各語に対して、学習されたゲートメカニズムを用いて言語的および視覚的表現の重み付き組み合わせを計算。ゲートパラメータは語ペアの対照的損失を最適化することで最適化される。
• モダリティ固有ゲートは、全語にわたって1つの重みを割り当てる。カテゴリ固有ゲートは、スーパーセンスカテゴリごとに重みを割り当てる。サンプル固有ゲートは、各語ごとに個別の重みを割り当てる。
• ゲートベクトルの$l_2$-ノルムを用いて学習されたモダリティ重要度を分析し、語のコンクリート性とモダリティ重み比のスピアマン順位相関を計算。
• 語の関連ペアが類似したマルチモダリティ表現を持つように保証するため、対照的目的関数を用いてモデルをエンドツーエンドで訓練。

実験結果

リサーチクエスチョン

• RQ1 固定重み融合と比較して、言語的および視覚的モダリティの動的融合はマルチモダリティ単語表現の質を向上させ得るか？
• RQ2 モデルは、コンクリート語とアブストラクト語の認知的差異を反映したモダリティ重要度重みを学習するか？
• RQ3 学習されたモダリティ重み比は、人間がアノテートした語のコンクリート性と相関しているか？
• RQ4 モダリティ固有、カテゴリ固有、サンプル固有の異なるゲーティングメカニズムは、性能および解釈可能性に差をもたらすか？
• RQ5 ゴールの意味的ベクトルが存在しない状況でも、語の関連性からの弱い教師信号がモダリティ融合重みの学習を効果的に誘導できるか？

主な発見

• 提案された動的融合モデルは、6つの標準ベンチマークにおいて、強力な単モダリティおよび最先端のマルチモダリティベースラインを顕著に上回る性能を発揮する。
• モダリティ固有ゲート（M-gate）は、言語的対視覚的重み比1.186:0.045を学習し、全体的に言語的モダリティが優勢であることを示している。
• サンプル固有ゲート（S-gate）は、アブストラクト語に対して言語的対視覚的重み比3.714:1を、コンクリート語に対しては2.975:1を割り当て、語の種類に敏感であることを示している。
• S-gateモデルは、語のコンクリート性とモダリティ重み比の間でスピアマン相関0.614を達成し、認知的妥当性を支持している。
• カテゴリ固有ゲート（C-gate）は、アブストラクト語に富むカテゴリ（例：Cognition, Attribute）が、知覚的特徴に富むカテゴリ（例：Shape, Object）よりも高い言語的対視覚的重み比を持つことを示している。
• M-gateおよびC-gateモデルも、語のコンクリート性とモダリティ重み比の間に0.458の強い相関を示しており、モデルが人間のモダリティ好みを学習できることを確認している。