[論文レビュー] A Boxology of Design Patterns for Hybrid Learning and Reasoning Systems

Frank van Harmelen, Annette ten Teije|Digital Academic REpository of VU University Amsterdam (Vrije Universiteit Amsterdam)|May 29, 2019

Business Process Modeling and Analysis被引用数 9

ひとこと要約

本稿は、機械学習（ML）と知識表現（KR）を統合するハイブリッド学習・推論システムを体系化するための構成的デザインパターンフレームワーク—「ボクソロジー」—を導入する。特定のアルゴリズムに依存せず、MLと記号的コンポーネント間の機能的相互作用に注目することで、15のコアパターンを同定し、50篇以上の最近の論文で検証された。これにより、ハイブリッドAIシステムの理解の明確化、再利用、設計が可能になる。

ABSTRACT

We propose a set of compositional design patterns to describe a large variety of systems that combine statistical techniques from machine learning with symbolic techniques from knowledge representation. As in other areas of computer science (knowledge engineering, software engineering, ontology engineering, process mining and others), such design patterns help to systematize the literature, clarify which combinations of techniques serve which purposes, and encourage re-use of software components. We have validated our set of compositional design patterns against a large body of recent literature.

研究の動機と目的

• ハイブリッド学習・推論システムに関する文献の複雑さと断片化を解消するための統合的コンセプトフレームワークを提供すること。
• 機械学習と記号的推論を組み合わせる多様なアプローチを体系化すること。これらはしばしば異なる研究コミュニティで独立して開発されている。
• 特定のアルゴリズムや形式的体系に依存しない、抽象的で再利用可能なフレームワークを提供すること。このフレームワークは、構成的デザインパターンに基づき、ハイブリッドシステムの機能的アーキテクチャを捉える。
• 50篇以上の最近の論文を広くサンプリングし、フレームワークを検証することで、調査されたすべてのシステムが提示されたパターン集合に分類可能であることを示すこと。
• 今後の研究、教育、設計を支援するため、ハイブリッドAIシステムアーキテクチャの明確な比較、説明、拡張を可能にすること。

提案手法

• ハイブリッドシステムにおける機械学習（ML）と知識表現（KR）コンポーネントの相互作用を記述する15の構成的デザインパターンの分類を提唱する。
• MLとKRコンポーネント間の機能的フローとデータ依存関係を視覚的に表現する図式表記を用い、実装詳細ではなくアーキテクチャ的構成に焦点を当てる。
• 基本パターン（例：ML sym、sym ML、sym sym、ML ML）を、順序付きまたは非順序付きの組み合わせといったより複雑な構成の構築ブロックとして定義する。
• 異なる学会（例：AAAI、NIPS、IJCAI）から選ばれた50篇以上の最近の論文にパターンセットを適用し、コーパスに含まれる各システムが15のパターンのいずれかに適合することを確認することで、パターンセットの妥当性を検証する。
• 機能的抽象化に重点を置く：パターンは、コンポーネント間の役割とデータフローによって定義され、それら内部で使用される具体的な数学的・アルゴリズム的技術とは無関係である。
• 将来の拡張として、構文的に有効なパターン組み合わせを生成する文法規則の導入や、人間を含めたハイブリッド知能システムへの統合を提案する。

実験結果

リサーチクエスチョン

• RQ1 形式的体系、アルゴリズム、コミュニティの起源に差異があるにもかかわらず、ハイブリッド学習・推論システムに関する広範かつ多様な研究を体系的に分類する方法は何か？
• RQ2 最近の文献に記載された神経記号的システムの大部分を特徴づける基本的なアーキテクチャ的構成は何か？
• RQ3 特定のアルゴリズムや表現に依存せず、ハイブリッド学習・推論システムの構造的多様性を完全に捉えるために、少数の抽象的デザインパターンが十分に機能するか？
• RQ4 このパターンベースのフレームワークは、ハイブリッドAIシステムの規定的設計、教育、将来のイノベーションの基盤として機能できるか？
• RQ5 このフレームワークは、認知アーキテクチャおよび人間-AI協働における記号的推論と機械学習の役割を理解する上で、どのような意味を持つのか？

主な発見

• 提示された15の構成的デザインパターンは、最近の文献から分析された50以上のハイブリッドシステムをすべて的確に捉えており、フレームワークの完全性を示している。
• パターンは特定の技術（例：異なる種類のニューラルネットワークや論理形式的体系）を抽象化しており、機能的役割とデータフローに焦点を当てることで、異種のパラダイム間の比較と再利用が可能になる。
• フレームワークは、記号的表現を中間的抽象化として用いて学習の効率性と頑健性を向上させるという繰り返しのアーキテクチャ的モチーフを明らかにした。これは[9]や[45]のようなシステムで観察された。
• （ML sym）パターン—ニューラルネットワークが論理的推論を実行するように訓練される—は広く用いられており、RDF上の推論、記述論理、論理プログラミングなどのアプローチをカバーしている。
• 文法に基づくパターン生成により、構文的に有効なパターンの組み合わせを自動生成することで、未踏のアーキテクチャ的組み合わせを同定でき、新たな研究方向性を示唆している。
• このアプローチは、すでに2年間の研究セミナーで教育的ツールとして効果を発揮しており、教育および知識移転における実用的有用性が裏付けられている。