[論文レビュー] Deep Fragment Embeddings for Bidirectional Image Sentence Mapping

Andrej Karpathy, Armand Joulin+1 more|arXiv (Cornell University)|Jun 22, 2014

Multimodal Machine Learning Applications参考文献 40被引用数 723

ひとこと要約

本論文は、視覚的オブジェクトと言語的依存関係を共有マルチモodal空間に埋め込む深層学習モデルを提案し、より高い精度と解釈可能性を実現する双方向的画像-文検索を可能にした。グローバル順序付け損失に加えて断片アライメント損失を導入することで、Flickr30K、Pascal1K、Flickr8Kで最先端の性能を達成し、画像アノテーションではFlickr30Kで16.4%のR@1、文検索では10.3%を達成した。

ABSTRACT

We introduce a model for bidirectional retrieval of images and sentences through a multi-modal embedding of visual and natural language data. Unlike previous models that directly map images or sentences into a common embedding space, our model works on a finer level and embeds fragments of images (objects) and fragments of sentences (typed dependency tree relations) into a common space. In addition to a ranking objective seen in previous work, this allows us to add a new fragment alignment objective that learns to directly associate these fragments across modalities. Extensive experimental evaluation shows that reasoning on both the global level of images and sentences and the finer level of their respective fragments significantly improves performance on image-sentence retrieval tasks. Additionally, our model provides interpretable predictions since the inferred inter-modal fragment alignment is explicit.

研究の動機と目的

• 画像断片（オブジェクト）と文断片（依存関係）の間の細粒度な対応関係をモデル化することで、双方向的画像-文検索の性能を向上させること。
• 明示的なマルチモーダル断片アライメントの学習と可視化を通じて、モデルの解釈性を向上させること。
• 画像と文を単一の統合表現として扱うグローバル埋め込みモデルの限界を是正すること。
• 視覚的および言語的断片の間の対応を直接促進する新しい損失関数「断片アライメント損失」を考案すること。
• グローバルレベルと断片レベルの両方で推論を行うことで、検索性能が著しく向上することを示すこと。

提案手法

• 本モデルは、畳み込みニューラルネットワーク（Faster R-CNN）を用いて画像からオブジェクト候補と特徴量を抽出し、各検出されたオブジェクトを視覚的断片として扱う。
• 文は依存構文解析器を用いて処理され、タイプ付き依存関係（例：AMOD、CONJ、SBJ）が抽出され、各関係を言語的断片として扱う。
• 視覚的および言語的断片は、共有パラメータを持つ深層ニューラルネットワークを用いて、共有マルチモーダル埋め込み空間に埋め込まれる。
• 本モデルは、正しい画像-文ペアがより高いスコアを持つように保証するグローバル順序付け損失と、モダリティ間の対応する断片をアライメントする断片アライメント損失の組み合わせを最適化する。
• 断片アライメント損失は、最大マージンの目的関数として定式化され、正例ペア（例：'black dog'）の類似度が負例ペアより高くなるように促進する。
• モデルはエンドツーエンドで訓練され、標準ベンチマーク上で検索指標（例：Recall@K、中央順位）を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 グローバル表現ではなく、画像と文の断片（オブジェクトと依存関係）をモデル化することで、画像-文検索性能が向上するか？
• RQ2 断片レベルのアライメント目的関数を導入することで、グローバル順序付けのみに比べて一般化性能と検索精度が向上するか？
• RQ3 学習された断片アライメントは、モデルが言語を視覚的シーンにどのように対応づけているかを明らかにする解釈可能な予測を提供できるか？
• RQ4 本モデルは、学習語彙に含まれない新しいオブジェクト属性やOoV（Out-of-Vocabulary）の概念にどの程度一般化できるか？
• RQ5 断片レベルの表現は、語レベルや句レベルの表現に比べて、複雑な視覚的言語的対応関係をどれほどよく捉えられるか？

主な発見

• 本モデルは、Flickr30Kの画像アノテーションタスクで16.4%のRecall@1を達成し、DeViSE（4.5%）やグローバル順序付けベースライン（11.5%）を顕著に上回った。
• Flickr30Kにおける文検索では、10.3%のRecall@1を達成し、DeViSE（6.7%）やグローバル順序付けベースライン（8.8%）を上回った。
• 断片アライメント目的関数の追加により、Flickr30Kの画像アノテーションタスクにおける中央順位が14から10に低下し、正解結果に到達するまでの収束が速くなった。
• 定性的分析により、モデルが解釈可能なアライメントを生成することが確認された。例えば、'black dog'が画像内の黒い犬に対応していることが正しく検出されたが、その属性はImageNetに存在しなかった。
• 本モデルは、ImageNetの検出クラスに含まれないOoV概念（例：'jacket'、'rocky terrain'）に対しても一般化可能であり、新しい属性に対して堅牢であることが示唆された。
• CNNのファインチューニングにより性能が向上し、画像アノテーションタスクで16.4% R@1および8の中央順位を達成した。これは、共同最適化の価値を示している。