[論文レビュー] Building a Large-scale Multimodal Knowledge Base System for Answering Visual Queries

Yuke Zhu, Ce Zhang+2 more|arXiv (Cornell University)|Jul 20, 2015

Multimodal Machine Learning Applications参考文献 55被引用数 45

ひとこと要約

この論文では、再訓練なしに、複雑なシーン理解や画像検索を含む多様な視覚的クエリに応答できるスケーラブルなマルチモーダル知識ベース（KB）フレームワークを提案する。視覚的、言語的、構造的データを統合確率的グラフィカルモデルとしてモデル化することで、大規模なマルコフ確率的場（MRF）表現を用い、最初の順序の推論とデータベース最適化を活用して数時間で5億変数を処理する。

ABSTRACT

The complexity of the visual world creates significant challenges for comprehensive visual understanding. In spite of recent successes in visual recognition, today's vision systems would still struggle to deal with visual queries that require a deeper reasoning. We propose a knowledge base (KB) framework to handle an assortment of visual queries, without the need to train new classifiers for new tasks. Building such a large-scale multimodal KB presents a major challenge of scalability. We cast a large-scale MRF into a KB representation, incorporating visual, textual and structured data, as well as their diverse relations. We introduce a scalable knowledge base construction system that is capable of building a KB with half billion variables and millions of parameters in a few hours. Our system achieves competitive results compared to purpose-built models on standard recognition and retrieval tasks, while exhibiting greater flexibility in answering richer visual queries.

研究の動機と目的

• 各新しいタスクごとに分類器を再訓練せずに、多様で異種のクエリに対して柔軟かつ汎用的な視覚的理解を可能にすること。
• 視覚的、言語的、構造的データを統合し、豊富な関係的依存関係を持つ大規模なマルチモーダル知識ベースを構築する際のスケーラビリティの課題に対処すること。
• 離散的および連続的変数を含む大規模なマルチモーダルデータセット上で、統合学習と推論が可能なシステムを開発すること。
• 統一されたKBフレームワークが、標準的なビジョンベンチマークで特化型モデルと同等またはそれ以上の性能を示すことを実証すること。

提案手法

• 視覚的、言語的、構造的データを、離散的および連続的変数を併用する大規模なマルコフ確率的場（MRF）として表現する。
• 視覚的クエリを論理形式としてエンコードし、KB上の確率的クエリにマッピングすることで、周辺確率計算による統合推論を可能にする。
• データベース技術と高速サンプリングを活用して、5億変数および400万パラメータにまでスケーリングされた推論を実現する。
• 計算複雑性を低減し、大規模データにおける効率的な学習を可能にするために、最初の順序の確率的推論手法を採用する。
• SUNデータセットから学習された、シーンのカテゴリ、属性、アフォーダンスの間の複雑な関係を捉えるために、統合MRFモデルを用いる。
• 要因の重みを用いてエンティティ間の相関をモデル化し、データから学習された強い正負の関係（例：'beach' ↔ 'sunny'、'railroad track' ↔ 'negative' 関係）を表現する。

実験結果

リサーチクエスチョン

• RQ1 統一された知識ベースフレームワークは、単純な画像検索から複雑な推論に至る多様な視覚的クエリに、再訓練なしに応答可能か？
• RQ2 視覚的および言語的データの混合離散的・連続的変数を扱う大規模なマルチモーダルKBを、効率的に構築するにはどうすればよいか？
• RQ3 確率的KBモデルは、標準的なビジョン認識および検索タスクにおいて、目的に特化したモデルを上回るか、同等の性能を発揮できるか？
• RQ4 属性、アフォーダンス、シーンカテゴリ間の関係的依存関係は、どのようにして生成され、複雑なクエリの推論に寄与するのか？

主な発見

• 目的に特化したモデルと比較して、標準的な認識および検索タスクで競争力のある性能を達成しており、特に低ランクの検索結果で顕著な優位性を示している。
• 画像検索タスクにおいて、KBモデルはk=5以降の平均精度が安定し、検索ランクが上昇するにつれて、最近傍探索ベースライン（NNallおよびNNmean）を上回っている。
• 関係的知識を活用することで、ノイズが多いか弱い視覚的信号に対してもモデルの頑健性が向上し、低ランクの検索における誤検出を低減している。
• 学習されたKBは強い解釈可能な関係を捉えている：例として、'railroad track'は'mountain snowy'と強い負の相関（重み -3.86）を示し、'beach'は'sunny'と強く関連（重み 5.65）している。
• 数時間で5億変数および400万パラメータのKBを構築でき、先行研究（Zhu et al., 2014）の1万倍以上大きく、学習時間も半分に短縮された。
• 定性的な結果から、モデルは複数のラベル（属性およびアフォーダンス）を同時に正しく推論できており、視覚的例の6枚中4枚で正しい予測を達成している。