[論文レビュー] A Review on Intelligent Object Perception Methods Combining Knowledge-based Reasoning and Machine Learning

Filippos Gouidis, Alexandros Vassiliades+4 more|arXiv (Cornell University)|Dec 26, 2019

Multimodal Machine Learning Applications参考文献 61被引用数 9

ひとこと要約

本論文は、知識ベースの推論と機械学習を統合するハイブリッドアプローチをレビューし、コンピュータビジョンにおける知能的なオブジェクト認識の向上を目的としている。記号的表現、一般常識的知識、因果的推論をデータ駆動型モデルと組み合わせることで、オブジェクト認識、シーン理解、視覚的推論タスクにおいて、性能向上、一般化能力の向上、説明可能性の向上が実証された。

ABSTRACT

Object perception is a fundamental sub-field of Computer Vision, covering a multitude of individual areas and having contributed high-impact results. While Machine Learning has been traditionally applied to address related problems, recent works also seek ways to integrate knowledge engineering in order to expand the level of intelligence of the visual interpretation of objects, their properties and their relations with their environment. In this paper, we attempt a systematic investigation of how knowledge-based methods contribute to diverse object perception tasks. We review the latest achievements and identify prominent research directions.

研究の動機と目的

• 知識ベースの推論が知能的オブジェクト認識タスクにおける機械学習をどのように向上させるかを調査すること。
• データ駆動型アプローチと記号的AIを統合するための主要な研究方向性を特定すること。
• 一般常識的、因果的、関係的推論が、純粋なデータ駆動型学習をはるかに超えるオブジェクト認識をどのように進化させるかを分析すること。
• オープンドメインの知識と形式的意味論がオブジェクト認識システムに与える影響を評価すること。
• ハイブリッドモデルがビジョンシステムにおけるより優れた一般化能力、耐障害性、説明可能性を達成する可能性を探索すること。

提案手法

• 機械学習と記号的知識表現を統合するハイブリッドオブジェクト認識システムに関する最先端の文献を体系的にレビューする。
• 知識統合を3つの柱に分類する：表現力のある記号的モデル、一般常識的知識の活用、ハイブリッドアーキテクチャによる学習の強化。
• 視覚的タスクにおける文脈的、空間的、関係的推論に、知識グラフ、オントロジー、セマンティックウェブ技術の使用を分析する。
• ブラックボックスなディープラーニングモデルの限界を克服するための因果的および反事後的推論の役割を検討する。
• マーカフロジックネットワークや緩く結合された記号的確率的モデルといったハイブリッドフレームワークを評価し、小規模データセットでの一般化能力の向上を検証する。
• 視覚的質問応答やシーン理解における複雑な推論を支援するため、視覚的およびテキスト的埋め込みと知識ベースの融合技術をレビューする。

実験結果

リサーチクエスチョン

• RQ1 記号的知識表現は、オブジェクト認識における機械学習モデルのロバスト性と解釈可能性をどのように向上させることができるか？
• RQ2 一般常識的知識は、観測済みデータをはるかに超えて視覚的シーンを推論できるシステムが果たす役割は何か？
• RQ3 知識ベースの推論とディープラーニングを統合したハイブリッドモデルは、データが少ない状況下で、エンドツーエンド学習をどれほど上回ることができるか？
• RQ4 因果的および関係的推論を視覚システムに効果的に統合するにはどうすればよいか？これにより、反事後的および説明可能なAIが実現できるか？
• RQ5 記号的アプローチとニューラルアプローチを密に統合するための知的認識分野における主な課題と未解決の研究方向性は何か？

主な発見

• 緩く結合された記号的推論と機械学習の統合は、小規模データセットではエンドツーエンドのディープネットワークよりも高い精度を達成し、大規模データセットでは同等の性能を示す。
• 形式的意味論とオープンドメインの知識ベースの使用により、空間的・時間的・因果的推論といった複雑な推論タスクを視覚的認識で実行できるようになる。
• 記号的モデルは、学習データの分布を超えた抽象的概念、関係、制約に関する推論を可能にすることで、一般化能力を向上させる。
• 一般常識的知識の統合は、特に分布外または曖昧な状況下で、視覚的質問応答やシーン理解のパフォーマンスを向上させる。
• 現在のハイブリッドシステムは、非単調的推論やスケーラブルな因果的推論において課題を抱えており、特に異種の知識ソース統合の際には顕著である。
• 知識ベースの推論の統合は、説明可能性を著しく向上させ、ブラックボックス性を解消する反事後的推論を可能にする。