[論文レビュー] UniVSE: Robust Visual Semantic Embeddings via Structured Semantic Representations

Hao Wu, Jiayuan Mao+5 more|arXiv (Cornell University)|Apr 11, 2019

Multimodal Machine Learning Applications参考文献 45被引用数 4

ひとこと要約

UniVSEは、視覚的・言語的概念を物体、属性、関係、シーンに因子分解する統一的で視覚的・意味的埋め込み空間を提案する。これは、意味的コンポonentにおける対照的学習を通じて、細粒度のクロスマodalな整合性を実現し、意味的カバレッジを強制することで耐性を向上させる。この手法は、クロスマodal検索において最先端の性能を達成し、テキストドメインの敵対的攻撃に対しても効果的に防御可能であり、視覚的ガイド付き意味的解析を可能にする。

ABSTRACT

We propose Unified Visual-Semantic Embeddings (UniVSE) for learning a joint space of visual and textual concepts. The space unifies the concepts at different levels, including objects, attributes, relations, and full scenes. A contrastive learning approach is proposed for the fine-grained alignment from only image-caption pairs. Moreover, we present an effective approach for enforcing the coverage of semantic components that appear in the sentence. We demonstrate the robustness of Unified VSE in defending text-domain adversarial attacks on cross-modal retrieval tasks. Such robustness also empowers the use of visual cues to resolve word dependencies in novel sentences.

研究の動機と目的

• 視覚と言語の間で物体、属性、関係、および全体のシーンを統一的かつ因子分解された埋め込み空間に整列させる。
• 対照的画像・キャプションペアを用いたクロス状況的学習により、視覚的・言語的整列における参照的曖昧性を解消する。
• 物体の共起などのデータセットバイアスを軽減するため、キャプション符号化における意味的カバレッジを強制する。
• クロスマodal検索タスクにおけるテキストドメインの敵対的攻撃に対する耐性を向上させる。
• 視覚的キューを用いて、特に語の依存関係や意味的役割を解消する新しい文の解析を可能にする。

提案手法

• モデルは、文全体や画像ではなく、意味的コンポーネント（例：名詞、前置詞句）における対照的学習を用いることで、テキストフレーズと視覚領域の間で細粒度の整列を実現する。
• 新規の対照的例抽出戦略により、1つの意味的コンポーネント（例：'wall' と 'shelf'）を除いて他が同一の画像とキャプションペアを特定し、参照的曖昧性を解消する。
• キャプションエンコーダーに意味的カバレッジ正則化を適用し、文内のすべての意味的コンポーネントがグローバルキャプション埋め込みに意味的に寄与することを保証する。
• 統一された埋め込み空間は、視覚的領域とテキストフレーズを複数のレベルで同時に表現する：物体（名詞句）、属性（前置修飾語句）、関係（動詞／前置詞）、および全体のシーン（文）。
• モデルは、画像領域とクエリ埋め込み間の類似度マップを計算し、意味的コンポーネントが対応する視覚領域とどのように整列しているかを可視化・検証する。
• 意味的解析のために、モデルは統一された埋め込み空間を用いて、可能な従属関係の組み合わせ（例：動詞の主語・目的語）のスコアを算出し、視覚的マッチングに基づいて最高スコアのものを選択する。

実験結果

リサーチクエスチョン

• RQ1 意味的コンポーネントにおける対照的学習は、視覚と言語の間の細粒度の整列を向上させるか？
• RQ2 キャプション符号化における意味的カバレッジの強制は、テキストドメインにおける敵対的摂動に対する耐性を向上させるか？
• RQ3 統一された埋め込み空間からの視覚的キューは、曖昧な文における意味的解析の正確性を向上させるか？
• RQ4 エンドツーエンドの文レベル整列と比較して、統一的因子分解表現はクロスマodal検索タスクでどのように性能を発揮するか？
• RQ5 視覚的情報は、トレーニング時に見られなかった新しい文における文法的曖昧性をどの程度解消できるか？

主な発見

• UniVSEは、単語、名詞句、関係的フレーズ、および文全体のあらゆるクエリタイプにおいて、クロスマodal検索で最先端の性能を達成し、VSE++、VSE-C、およびランダムベースラインを上回る。
• すべてのタイプの対照的コンポーネントを用いて学習したモデル（UniVSE with all）が、特に単語や名詞句のような細粒度のクエリにおいて、ベースラインと顕著な差を示して最高の検索精度を達成する。
• 意味的カバレッジ正則化は耐性を著しく向上させ、標準モデルが撃破するテキストドメインの敵対的攻撃に対しても、UniVSEが効果的に防御可能であることを示す。
• 視覚的キューを用いた意味的解析において、UniVSEは属性付きの物体依存関係回復で64.82%、関係的フレーズ解析で62.69%の精度を達成し、VSE++（41.12% および 43.31%）および VSE-C（43.44% および 41.08%）を大きく上回る。
• 類似度マップの可視化により、UniVSEが特定の意味的コンポーネント（例：'clock'、'wall'）を対応する画像領域と正確に整列させていることが確認され、空間的グランドイングの正確性が裏付けられる。