[論文レビュー] Order-Embeddings of Images and Language

Ivan Vendrov, Ryan Kiros+2 more|arXiv (Cornell University)|Nov 19, 2015

Multimodal Machine Learning Applications参考文献 28被引用数 87

ひとこと要約

本論文は、視覚的・意味的階層構造（例：'dog' → 'mammal' または 'woman walking her dog' → 'person walking'）における抽象化関係を保持する分散表現を学習するorder-embeddingsを導入する。距離に基づく類似度に代えて、学習された埋め込み空間における順序保存制約を用いることで、ハイパノイム予測および画像キャプション検索の性能が向上し、これらのタスクで先行する最先端手法を上回る結果を達成した。

ABSTRACT

Hypernymy, textual entailment, and image captioning can be seen as special cases of a single visual-semantic hierarchy over words, sentences, and images. In this paper we advocate for explicitly modeling the partial order structure of this hierarchy. Towards this goal, we introduce a general method for learning ordered representations, and show how it can be applied to a variety of tasks involving images and language. We show that the resulting representations improve performance over current approaches for hypernym prediction and image-caption retrieval.

研究の動機と目的

• 距離保存に依存する従来の埋め込み手法の限界に対処する。これは、意味的階層の反対称性および推移的性質を捉えられていないためである。
• 視覚的・意味的階層を部分順序としてモデル化する。ここで、画像、キャプション、語彙などの概念は、抽象化（例：'dog' は 'poodle' のハイパノイム）によって関連づけられる。
• 部分順序構造を保存する埋め込みを学習する一般化されたフレームワークを開発し、階層的関係を含むタスクにおける性能向上を実現する。
• ハイパノイム予測、キャプション-画像検索、および文脈含意の3つのタスクにおいて、order-embeddingsの有効性を示す。
• 既存の関係学習モデルと統合可能な統一的アプローチを提供する。具体的には、類似度比較の代わりに順序保存演算を組み込む。

提案手法

• 問題を部分順序の完成と定式化する：学習済み埋め込みに基づき、未観測ペア (u,v) が順序付けられているかどうかを予測する。
• order-embeddingsを、f: (X, ⪯_X) → (Y, ⪯_Y) として定義し、u ⪯_X v ならばかつその場合に限り f(u) ⪯_Y f(v) となるようにする。これにより、正確な順序保存が保証される。
• 埋め込み空間の順序として ℝ₊^N 上の逆順序積順序を用いる。これにより、抽象化（ミート）と合成（ジョイント）の両方の演算が可能になる。
• 順序違反をペナルティ化するマージンベースの損失関数を用いて学習する。具体的には、f(u) ≼ f(v) であるが u ≰ v である場合にペナルティが発生する。
• 文と画像を共有空間に埋め込むためにGRUベースのエンコーダを適用し、単位L2正規化された埋め込みを用いる。
• ハードネガティブマイニングを用いた対照学習設定を採用する。ここでは、ポジティブペアは順序付けられており、ネガティブペアはそうでない。

実験結果

リサーチクエスチョン

• RQ1 距離ベースの類似度手法と比較して、順序保存埋め込みはハイパノイム予測の性能向上をもたらすか？
• RQ2 キャプションと画像の間の階層的関係をモデル化することで、order-embeddingsは画像キャプション検索の性能を向上させるか？
• RQ3 同じフレームワークは、ある文が別の文を論理的に含意する文脈含意を効果的にモデル化できるか？
• RQ4 対称的類似度と比較して、埋め込みに部分順序構造を強制することは、意味的階層を捉える上で効果的か？
• RQ5 order-embeddingsは、一貫した階層的表現フレームワークとして、分野が異なるNLPおよびビジョンタスクをどれほど統合できるか？

主な発見

• 2クラスのSNLI含意タスクにおいて、order-embeddingsは88.6%の精度を達成し、スイッチトゥークスベースライン（87.7%）およびEOP分類器（75.0%）を上回った。
• ハイパノイム予測において、order-embeddingsは、ハイパノイム関係の反対称性および推移的性質を明示的にモデル化することで、従来の最先端手法を顕著に上回った。
• 画像キャプション検索において、order-embeddingsは距離ベースのベースラインを上回り、画像からキャプションへの階層的抽象化を保存した。
• 注意機構を用いたモデルよりも単純であるにもかかわらず、テキスト含意タスクで準最先端の性能を達成した。これは、順序制約が強い誘導的バイアスを提供していることを示唆している。
• 補足資料における可視化から、階層的抽象化を反映する一貫した幾何的パターンを示す新たなベクトルの規則性が明らかになった。
• 本手法はタスク間で優れた一般化性能を示し、ハイパノイム関係、テキスト含意、画像キャプション関係のモデル化を統一的なフレームワークで実現できることを示した。