[論文レビュー] Informed Machine Learning - Towards a Taxonomy of Explicit Integration of Knowledge into Machine Learning.

Laura von Rüden, Sebastian Mayer+3 more|arXiv (Cornell University)|Mar 29, 2019

Machine Learning in Materials Science参考文献 11被引用数 40

ひとこと要約

本稿では、データ不足を解消するために機械学習パイプラインに明示的知識を統合するための包括的な分類体系を提案する。知識の種別、表現形式、統合手法を分類することで、多様な手法における体系的分析が可能となり、主要なアプローチが特定される。

ABSTRACT

Despite the great successes of machine learning, it can have its limits when dealing with insufficient training data.A potential solution is to incorporate additional knowledge into the training process which leads to the idea of informed machine learning. We present a research survey and structured overview of various approaches in this field. We aim to establish a taxonomy which can serve as a classification framework that considers the kind of additional knowledge, its representation,and its integration into the machine learning pipeline. The evaluation of numerous papers on the bases of the taxonomy uncovers key methods in this field.

研究の動機と目的

• 外部知識を明示的に統合することで、低データ環境における機械学習の限界を克服すること。
• 知識の種別、表現形式、統合手法に基づいて、既存のインフォームド機械学習アプローチを体系的に分類すること。
• 今後の研究を導く統一されたフレームワークを構築し、知識統合学習における透明性と再現可能性を向上させること。
• 提案された分類体系を用いた評価を通じて、分野における主要な手法を特定・分析すること。
• 異なる手法間の比較を容易にし、知識統合技術における研究ギャップを浮き彫りにすること。

提案手法

• 知識の種別（例：論理的、関係的、構造的）、表現形式（例：記号的、ニューラル、確率的）、統合メカニズム（例：損失制約、アーキテクチャ変更、データ拡張）の3軸からなる多次元分類体系を提案する。
• 知識統合学習に関する広範な文献を調査・分析し、既存のアプローチをこの分類体系にマッピングする。
• 知識がモデル学習時、推論時、または両者に埋め込まれるか、最適化やアーキテクチャにどのように影響を与えるかに基づいて、手法を分類する。
• 分類体系を用いて、さまざまな知識統合戦略におけるパターンや繰り返し現れる設計選択を同定する。
• 知識表現形式と学習目的との整合性を評価することで、統合手法の有効性と一貫性を検証する。
• エンドツーエンド微分可能かどうか、モularity（モularity）の有無、知識注入における教師信号の役割といった、メソドロジカルな違いを強調する。

実験結果

リサーチクエスチョン

• RQ1 機械学習の文脈において、多様な外部知識を体系的に分類する方法は何か？
• RQ2 知識がどのように表現され、機械学習パイプラインに統合されているかの支配的パターンは何か？
• RQ3 損失ベース、アーキテクチャ、データレベルなどの統合メカニズムの中で、知識の種別に応じて最も効果的なのはどれか？
• RQ4 知識表現形式の違いが、モデル性能や学習ダイナミクスにどのように影響を与えるか？
• RQ5 インフォームド機械学習分野における現在の状況において、主なメソドロジカルギャップと繰り返し現れる課題は何か？

主な発見

• 提案された分類体系は、知識の種別、表現形式、統合手法に基づき、広範なインフォームド機械学習アプローチを効果的に整理している。
• 知識統合は、知識表現が学習タスクおよびモデルアーキテクチャと整合している場合に最も効果的である。
• 損失ベースおよびアーキテクチャベースの統合手法は、構造的または関係的知識が存在する状況で優れた性能を示す。
• 分類体系は、多くのアプローチが知識の忠実度や一般化への影響についての形式的評価を欠いていることを明らかにした。
• エンドツーエンド学習パイプラインにおいて、動的またはマルチソースの知識統合をサポートする手法に顕著なギャップが存在する。
• サーベイにより、特に記号的表現とニューラル表現を組み合わせた際の知識の接地（grounding）における繰り返し課題が特定された。