[論文レビュー] Modular Design Patterns for Hybrid Learning and Reasoning Systems: a taxonomy, patterns and use cases

Michael van Bekkum, Maaike de Boer+3 more|arXiv (Cornell University)|Feb 23, 2021

AI-based Problem Solving and Planning参考文献 64被引用数 13

ひとこと要約

本論文は、学習と推論を統合するハイブリッド神経記号的AIシステムのための分類法と15以上のモジュラー設計パターンを提案する。これにより、システムの体系的記述、比較、設計が可能になる。基本的および合成的なパターンにコンポーネントを整理することで、多様なシステム間の隠れた類似性が明らかになり、再利用可能で説明可能なAI設計を支援する。

ABSTRACT

The unification of statistical (data-driven) and symbolic (knowledge-driven) methods is widely recognised as one of the key challenges of modern AI. Recent years have seen large number of publications on such hybrid neuro-symbolic AI systems. That rapidly growing literature is highly diverse and mostly empirical, and is lacking a unifying view of the large variety of these hybrid systems. In this paper we analyse a large body of recent literature and we propose a set of modular design patterns for such hybrid, neuro-symbolic systems. We are able to describe the architecture of a very large number of hybrid systems by composing only a small set of elementary patterns as building blocks. The main contributions of this paper are: 1) a taxonomically organised vocabulary to describe both processes and data structures used in hybrid systems; 2) a set of 15+ design patterns for hybrid AI systems, organised in a set of elementary patterns and a set of compositional patterns; 3) an application of these design patterns in two realistic use-cases for hybrid AI systems. Our patterns reveal similarities between systems that were not recognised until now. Finally, our design patterns extend and refine Kautz' earlier attempt at categorising neuro-symbolic architectures.

研究の動機と目的

• データ駆動型と知識駆動型のアプローチを統合するハイブリッド神経記号的AIシステムの統一的で概念的なフレームワークの欠如に応える。
• 機械学習や知識ベースシステムなどのAIコミュニティ間のコミュニケーションギャップを、共通の分類的語彙を提供することで埋める。
• 抽象的で合成可能な設計パターンのセットを通じて、複雑なハイブリッドAIシステムのモジュラーかつ再利用可能な工学的設計を可能にする。
• Kautzの神経記号的アーキテクチャ分類法などの先行分類を、より詳細で実用的なフレームワークに拡張・精錬する。
• 2つの現実的で実用的な活用事例を通じて、実用的応用性を示す：スキルマッチングとロボットのアクション選択。

提案手法

• ハイブリッドAIシステムにおけるプロセス、データ構造、エージェント、コンポーネントを記述する分類的語彙を開発する。
• 15以上のモジュラー設計パターンを定義する。これには、基本パターン（例：シンボルの接地、ニューラル-シンボリック統合）と合成パターン（例：フィードバックループ、マルチステージ推論）が含まれる。
• 図式的表記（ボクソロジー）を用いて、システムコンポーネントとその相互作用を表現する。学習（ML）と知識表現（KR）コンポーネントを区別する。
• 最近の文献に登場する多様なハイブリッドAIシステムを、このフレームワークを用いて記述・分析し、これまで認識されていなかったアーキテクチャ的類似性を明らかにする。
• 2つの詳細な活用事例（採用におけるスキルマッチング、ロボットのアクション選択）を通じて、フレームワークの妥当性を検証する。両者とも合成パターンを用いて記述されている。
• 今後の拡張として、人間を含むループシステムのエージェントのモデル化、およびパターン合成の形式的検証のための生成文法の開発を提案する。

実験結果

リサーチクエスチョン

• RQ1 多様なハイブリッド学習・推論システムのアーキテクチャを記述・比較するための統一的でモジュラーなフレームワークをどのように確立できるか？
• RQ2 神経的および記号的コンポーネントの統合を、さまざまなAIシステムに体系的に表現するための、基本的および合成的な設計パターンのセットは何か？
• RQ3 現在の用語的・概念的断片化のため認識されていないままの、既存のハイブリッドAIシステムが共有する根本的なアーキテクチャ的パターンは、どの程度存在するか？
• RQ4 提案された設計パターンは、説明可能で信頼性が高く、信頼できるハイブリッドAIシステムの工学的設計をどの程度支援できるか？
• RQ5 人間を含むループの相互作用や、システム合成の形式的検証をサポートするには、どのような拡張が必要か？

主な発見

• 提案された分類法と設計パターンは、わずかな数の再利用可能なコンポーネントのみを用いて、多数の最近のハイブリッドAIシステムを成功裏に記述し、隠れたアーキテクチャ的共通性を明らかにした。
• このフレームワークは、技術的実装の詳細から抽象化しながらも、機能的および構造的洞察を保持する、高水準の抽象的記述を可能にする。
• 設計パターンは、Kautzの初期の神経記号的分類法を、モularity、合成性、実用的工学的有用性を追加することで拡張し、発展させた。
• スキルマッチングとロボットのアクション選択の2つの活用事例は、パターンが、コミュニケーション可能で図面に似たシステム設計を可能にできることを示している。
• 本研究は、生成文法やパターン合成の論理的記法といった、形式的検証手法の今後の開発の基盤を提供する。
• 本フレームワークは、説明可能で信頼性が高く、信頼できるAIシステムを設計段階から実現するビジョンを支援し、認証や品質管理の可能性を秘めている。