[論文レビュー] The More You Know: Using Knowledge Graphs for Image Classification

Kenneth Marino, Ruslan Salakhutdinov+1 more|arXiv (Cornell University)|Dec 14, 2016

Multimodal Machine Learning Applications参考文献 34被引用数 25

ひとこと要約

本論文は、構造的な事前知識を活用して大規模な知識グラフを画像分類に効率的に統合する、エンドツーエンドの深層学習アーキテクチャであるグラフサーチニューラルネットワーク（GSNN）を提案する。GSNNは、知識グラフ内の意味的関係を推論することで、マルチラベル画像分類の性能を向上させ、注目メカニズムを用いた伝搬解析により解釈可能な予測を可能にし、最先端の結果を達成している。

ABSTRACT

One characteristic that sets humans apart from modern learning-based computer vision algorithms is the ability to acquire knowledge about the world and use that knowledge to reason about the visual world. Humans can learn about the characteristics of objects and the relationships that occur between them to learn a large variety of visual concepts, often with few examples. This paper investigates the use of structured prior knowledge in the form of knowledge graphs and shows that using this knowledge improves performance on image classification. We build on recent work on end-to-end learning on graphs, introducing the Graph Search Neural Network as a way of efficiently incorporating large knowledge graphs into a vision classification pipeline. We show in a number of experiments that our method outperforms standard neural network baselines for multi-label classification.

研究の動機と目的

• 視覚認識における長尾分布に対処するため、深層学習モデルに構造的な世界知識を統合すること。
• 視覚タスクにおける大規模な知識グラフに適用された従来のグラフニューラルネットワークの計算制限を克服すること。
• 画像認識タスクにおいて、知識グラフを用いて視覚的概念間の意味的関係を推論するエンドツーエンド学習を可能にすること。
• 知識グラフ内の情報伝搬経路をたどることで、画像分類を解釈可能にする。
• ノイズが多い現実世界の知識グラフが、視覚認識に効果的に活用可能であることを示すこと。

提案手法

• 視覚タスクにおける大規模な知識グラフの効率的推論を目的とした、ゲート付きグラフニューラルネットワークの一種であるグラフサーチニューラルネットワーク（GSNN）を提案する。
• 画像特徴を用いて関連する部分グラフを動的に選択・アノテートし、画像コンテンツに関連するノードとエッジに焦点を当てる。
• 異なる種類の関係（例：'着ている'、'上にある'、'出身地'など）を区別する伝搬メカニズムを採用し、ノード表現を精緻化する。
• 画像特徴に基づいて知識グラフからキーノードとエッジを選択する微分可能で効率的な探索メカニズムを導入し、計算コストを低減する。
• バックプロパゲーションを用いてエンドツーエンドで全システムを学習し、視覚的特徴とグラフ推論の共同最適化を可能にする。
• グラフ内の隠れ状態に対して出力クラスの勾配を計算することで、予測の解釈に役立つ感度分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 大規模な知識グラフからの構造的知識は、マルチラベル画像分類の性能を向上させることができるか？
• RQ2 大規模な知識グラフを視覚タスクの深層学習パイプラインに効率的に統合する方法は何か？
• RQ3 グラフニューラルネットワークは、意味的関係をたどることで、解釈可能な予測を提供できるか？
• RQ4 知識グラフにノイズや不完全な関係が存在する場合、モデルの性能はどの程度保たれるか？
• RQ5 どのような視覚的概念がグラフベースの推論によって最も利益を受けるのか、その理由は何か？

主な発見

• GSNNは、特にレアまたは長尾の視覚的概念において、標準的なニューラルネットワークベースラインを顕著に上回る性能を示した。
• モデルは、知識グラフ内の視覚的概念間の意味的関係（例：'着ている'、'上にある'など）を活用することで、分類精度を向上させた。
• 感度分析により、GSNNは正しく関連する知識グラフのノード（例：'ゾウモグラビア'に対しては'トランク'、'人物'に対しては'ジーンズ'）を予測に影響を与える要因として特定している。
• 知識グラフに重要な関係が欠落している場合（例：'バス'から'ウィンドウ'への関係）に予測失敗が生じ、性能がグラフの完全性に依存することが示された。
• ノイズが多い知識グラフに対しても、モデルは効果的に関連する部分グラフをフィルタリングし、推論に活用するという、頑健性を示した。
• GSNNは、最終的な分類に最も寄与したグラフのノードと関係性を強調することで、解釈可能な予測を提供した。