[論文レビュー] From Shallow to Deep Interactions Between Knowledge Representation, Reasoning and Machine Learning (Kay R. Amel group)

Zied Bouraoui, Antoine Cornuéjols+10 more|arXiv (Cornell University)|Dec 13, 2019

Bayesian Modeling and Causal Inference参考文献 408被引用数 5

ひとこと要約

本論文は、知識表現と推論（KRR）と機械学習（ML）の間の連携に関する基盤的サーベイを提案し、不確実性、説明可能性、知識とデータのバランスといった共通の関心事項を特定する。神経的・記号的推論やルールベース学習といったハイブリッド手法をレビューし、信念関数、知識グラフ補完、記述的データマイニングといった枠組みを通じて、KRRとMLが互いに補い合う仕組みを示し、長年の記号的AIと統計的AIの隔たりを埋めることを目的としている。

ABSTRACT

This paper proposes a tentative and original survey of meeting points between Knowledge Representation and Reasoning (KRR) and Machine Learning (ML), two areas which have been developing quite separately in the last three decades. Some common concerns are identified and discussed such as the types of used representation, the roles of knowledge and data, the lack or the excess of information, or the need for explanations and causal understanding. Then some methodologies combining reasoning and learning are reviewed (such as inductive logic programming, neuro-symbolic reasoning, formal concept analysis, rule-based representations and ML, uncertainty in ML, or case-based reasoning and analogical reasoning), before discussing examples of synergies between KRR and ML (including topics such as belief functions on regression, EM algorithm versus revision, the semantic description of vector representations, the combination of deep learning with high level inference, knowledge graph completion, declarative frameworks for data mining, or preferences and recommendation). This paper is the first step of a work in progress aiming at a better mutual understanding of research in KRR and ML, and how they could cooperate.

研究の動機と目的

• 知識表現と推論（KRR）と機械学習（ML）の間の共通の関心事や概念的重なりを、数十年にわたる発展の乖離にもかかわらず特定すること。
• 誘導的論理プログラミング、神経的・記号的システム、事例ベース推論などの推論と学習を統合するハイブリッド手法をサーベイすること。
• 信念関数、知識グラフ補完、記述的データマイニングフレームワークといった具体的な連携事例を通じて、KRRとMLの相互的利点を提示すること。
• KRRとMLコミュニティ間の相互浸透を促進するために、共通の理解基盤を提供すること。
• 特に解釈可能性や因果的理解の分野を含め、記号的推論とデータ駆動型学習を統合する今後の研究の基盤を築くこと。

提案手法

• 表現形式、知識とデータの役割、不確実性、説明の必要性といった共通の関心事のサーベイ。
• 誘導的論理プログラミング、形式的概念分析、ルールベースML、神経的・記号的推論を含むハイブリッドパラダイムのレビュー。
• 信念関数や不確実確率論的モデルを用いた、確率的および可能性的モデルと学習の統合手法の分析。
• 深層学習と高レベル推論・記号的推論の統合、特に知識グラフ補完における応用の検討。
• 論理的制約や好みを学習パイプラインに埋め込む記述的データマイニングフレームワークの検討。
• 好み学習と類似比による推論を、特に効用関数と類似比を介して、推論と学習の橋渡しとして探求。

実験結果

リサーチクエスチョン

• RQ1 KRRとMLは、歴史的な分離にもかかわらず、どのようなコアな共通関心を持っているか？
• RQ2 神経的・記号的推論や誘導的論理プログラミングといったハイブリッド手法は、どのように記号的推論とデータ駆動型学習を効果的に統合できるか？
• RQ3 KRRは、解釈可能性、因果的理解、分布シフトへの対処といった観点から、MLシステムをどのように向上させることができるか？
• RQ4 MLは、表現学習やデータからの記号的知識の精錬という観点から、KRRにどのように貢献できるか？
• RQ5 記号的および準記号的アプローチを統合するにあたり、主な課題は何か。それらは共通のフレームワークによってどのように解決できるか？

主な発見

• KRRとMLは、不確実性のモデリング、説明の生成、不完全または不確実な情報の取り扱いといった根本的な関心事で一致している。
• 神経的・記号的システムやルールベース学習フレームワークは、深層学習やデータ駆動型手法と記号的推論を効果的に統合している。
• 知識グラフ補完と記述的データマイニングフレームワークは、記号的制約がMLにおける一般化性能と解釈可能性を著しく向上させられることを示している。
• 信念関数や不確実確率モデルは、回帰や学習タスクにおける不確実性の定量化に強力なツールを提供している。
• 効用関数や類似比を介した好み学習により、部分的な好みデータから新たな比較を推論でき、特に辞書的または加法的仮定下でも有効である。
• 本論文は、現在のMLモデルが解釈性に欠けやすく、壊滅的忘却を起こしやすいことから、KRR統合によるこれらの制限の是正が強く求められることを明らかにした。