[論文レビュー] Integration of knowledge and data in machine learning

Yuntian Chen, Dongxiao Zhang|arXiv (Cornell University)|Feb 15, 2022

Machine Learning and Data Classification被引用数 34

ひとこと要約

この論文は、知識発見と知識埋め込みをデータ駆動型MLと統合する方法を概説し、方法・ギャップ・機会を整理し、発見と埋め込みの間に閉ループを主張する。

ABSTRACT

Scientific research's mandate is to comprehend and explore the world, as well as to improve it based on experience and knowledge. Knowledge embedding and knowledge discovery are two significant methods of integrating knowledge and data. Through knowledge embedding, the barriers between knowledge and data can be eliminated, and machine learning models with physical common sense can be established. Meanwhile, humans' understanding of the world is always limited, and knowledge discovery takes advantage of machine learning to extract new knowledge from observations. Knowledge discovery can not only assist researchers to better grasp the nature of physics, but it can also support them in conducting knowledge embedding research. A closed loop of knowledge generation and usage are formed by combining knowledge embedding with knowledge discovery, which can improve the robustness and accuracy of models and uncover previously unknown scientific principles. This study summarizes and analyzes extant literature, as well as identifies research gaps and future opportunities.

研究の動機と目的

• 知識発見と知識埋め込みの区別と相互作用を明確にする。
• データから支配方程式を発見する既存の方法を要約する（構造と係数）。
• ドメイン知識を機械学習モデルに統合する知識埋め込み技術を要約する。
• 統合知識-データ学習を進展させるための研究ギャップと機会を特定する。

提案手法

• 方程式マイニングのための知識発見手法を、閉じたライブラリ、拡張可能ライブラリ、オープンフォームのアプローチに分類する。
• 疎回帰、遺伝的アルゴリズム、シンボリック回帰、PDE-Netの派生など、複雑な構造と係数を持つ方程式をマイニングするアプローチを論じる。
• データ前処理、モデル構造設計、ペナルティ/報酬（ソフト制約 vs ハード制約）を含む知識埋め込み戦略を説明する。
• ソフト制約フレームワークとハード制約フレームワークを比較し、データ効率と物理的忠実性への影響を論じる。
• PINN、TgNN、PgNN、物理制約付き損失関数などの実践的な埋め込み手法を強調する。

実験結果

リサーチクエスチョン

• RQ1 データから支配方程式を抽出する知識発見手法の主なカテゴリと能力は何か？
• RQ2 ドメイン知識をMLモデルに埋め込んで精度・頑健性・物理的一貫性をどう向上させることができるか？
• RQ3 知識の発見と埋め込みを含む知識とデータの統合をMLにおいて妨げる主な課題は何か、今後の方向性は何か？
• RQ4 方程式マイニングにおける係数（定数、表現可能、表現不能）はどのような役割を果たし、効果的に推定するにはどうすればよいか？
• RQ5 知識発見と知識埋め込みの閉ループをどのように実現し、科学・工学のタスクを前進させるか？

主な発見

• 知識発見手法は方程式の表現方法（閉じたライブラリ、拡張可能ライブラリ、オープンフォーム）と係数の複雑さによって異なる。
• オープンフォーム手法は複雑な構造に対してより柔軟性を提供するが、計算コストが高い。
• 知識埋め込みはデータ前処理、ネットワーク設計、制約付き最適化を通じて実装でき、ソフト制約とハード制約はデータ要件と忠実度に影響を与える。
• ハード制約はデータ要件を減らすことができるが、正しいドメイン知識に依存する。ソフト制約は実装が容易だが、物理法則を厳密に強制しきれない場合がある。
• 著者は知識発見のギャップ/機会を5つ挙げる（gradient-appropriate embeddings、必要条件抽出、complex-structure/coefficient mining、gradient accuracy、方程式の簡略化）と、知識埋め込みのギャップ/機会を5つ挙げる（複雑な支配方程式の扱い、グラフネットによる不規則場、適応的ハイパーパラメータ、ノイズが多い/希少なデータ、アクセス性のための自動化ML）。