[論文レビュー] Open-World Visual Recognition Using Knowledge Graphs

Vincent Lonij, Ambrish Rawat+1 more|arXiv (Cornell University)|Aug 28, 2017

Domain Adaptation and Few-Shot Learning参考文献 22被引用数 11

ひとこと要約

本稿では、オープンワールドの視覚認識のための知識グラフベースのフレームワークを提案する。画像とエンティティを共有の意味的空間に統合的に埋め込むことで、未学習のクラスについてもゼロショットで構造的関係（三項組）を予測可能となる。滑らかさ制約とコンテキストに配慮したアテンションを組み込むことで、ベースラインモデルに比べて視覚認識性能が6倍向上する。

ABSTRACT

In a real-world setting, visual recognition systems can be brought to make predictions for images belonging to previously unknown class labels. In order to make semantically meaningful predictions for such inputs, we propose a two-step approach that utilizes information from knowledge graphs. First, a knowledge-graph representation is learned to embed a large set of entities into a semantic space. Second, an image representation is learned to embed images into the same space. Under this setup, we are able to predict structured properties in the form of relationship triples for any open-world image. This is true even when a set of labels has been omitted from the training protocols of both the knowledge graph and image embeddings. Furthermore, we append this learning framework with appropriate smoothness constraints and show how prior knowledge can be incorporated into the model. Both these improvements combined increase performance for visual recognition by a factor of six compared to our baseline. Finally, we propose a new, extended dataset which we use for experiments.

研究の動機と目的

• トレーニング時に新しいクラスについての付加的情報が入手できないオープンワールドの状況において、視覚認識の課題に対処すること。
• 新しい視覚入力に対して単なるクラスラベルではなく、構造的意味的関係（例：「哺乳類の一種である」）を予測可能にすること。
• 知識グラフからの事前知識を視覚認識モデルに統合し、一般化性能と解釈可能性を向上させること。
• 視覚入力を用いて知識グラフを自己更新可能なシステムを構築し、人間の継続的学習に類似した学習を可能にすること。
• オープンワールドの視覚認識およびリンク予測性能を評価するための新しいベンチマークデータセットを設計すること。

提案手法

• エンティティと関係を連続的ベクトル空間に表現するため、知識グラフ埋め込み（例：TransEスタイル）を用いて共同埋め込み空間を学習する。
• 同じ意味的空間に画像を埋め込むため、深層畳み込みニューラルネットワークを訓練する。これにより、クロスモodalな整合性が実現される。
• グラフ埋め込み損失関数に滑らかさ制約を導入し、スコア関数が入力の変化に伴って滑らかに変化することを保証することで、一般化性能を向上させる。
• 関係性の予測を強化するため、知識グラフ内の関連するコンテキストに注目するアテンションベースのメカニズムを適用する。
• トレーニングセットにおける関係-末尾ペアの分布をモデル化することで、未学習の関係の予測を向上させるためのコンテキストヒューリスティックを用いる。
• 三項組（頭部、関係、末尾）が意味的空間内で真である確率を予測するスコア関数を用いて、画像とエンティティの埋め込みを統合する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング時に新しいクラスについての付加的情報が入手できないオープンワールド設定において、知識グラフ埋め込みを効果的に活用して視覚認識を可能にすることができるか？
• RQ2 埋め込み空間における滑らかさ制約は、ゼロショット視覚認識タスクの一般化性能と性能をどのように向上させるか？
• RQ3 コンテキストに配慮したアテンションメカニズムは、視覚入力から新しい知識グラフリンクを予測する際に、どの程度性能を向上させるか？
• RQ4 視覚データを原理的かつ体系的に用いて、知識グラフを拡張可能であり、継続的学習と知識の拡大を可能にするか？
• RQ5 標準的、ゼロショット、オープンワールド認識の各設定において、提案手法はベースラインモデルと比較してどの程度の性能を示すか？

主な発見

• 提案手法はベースラインモデルに比べて視覚認識性能を6倍向上させ、オープンワールド認識分野で最先端の結果を達成した。
• 滑らかさ制約の導入により、スコア関数のリプシッツ定数がベースラインの0.645から0.174に低下し、関数の滑らかさと一般化性能が著しく向上したことが示された。
• コンテキストに配慮したアテンション機構により、SINTLデータセットにおける性能が向上し、オープンワールド設定でf@3スコアが0.400（コンテキストなし）から0.928に上昇した。
• 可視化結果から、学習された意味的空間ではエンティティがカテゴリ（例：動物、車両）ごとにクラスタリングされ、関係に対する滑らかで解釈可能なスコア関数が実現されていることが確認された。
• トレーニング時に確認されていなかった新しいクラスの画像に対しても、構造的属性（例：「哺乳類の一種である」）を正しく予測することができた。
• 本フレームワークは双方向の知識拡張を可能にした：視覚入力から新しい知識グラフエッジを生成可能であり、知識グラフの構造が画像理解を支援する。