[論文レビュー] Informed Equation Learning

Matthias Werner, Andrej Junginger+2 more|arXiv (Cornell University)|May 13, 2021

Model Reduction and Neural Networks参考文献 33被引用数 6

ひとこと要約

本論文は、構造的スパarsity事前分布を用いて専門家知識を統合し、すべてのネットワーク層で特異な原子関数（対数関数や除法など）を安定して学習可能にする仕組みを備えた、解釈可能でコン act な数式をデータから学習する記号的回帰フレームワーク iEQL を提案する。この手法は、予測性能が高く、組み込みシステムに適したモデルの単純さを維持する。

ABSTRACT

Distilling data into compact and interpretable analytic equations is one of the goals of science. Instead, contemporary supervised machine learning methods mostly produce unstructured and dense maps from input to output. Particularly in deep learning, this property is owed to the generic nature of simple standard link functions. To learn equations rather than maps, standard non-linearities can be replaced with structured building blocks of atomic functions. However, without strong priors on sparsity and structure, representational complexity and numerical conditioning limit this direct approach. To scale to realistic settings in science and engineering, we propose an informed equation learning system. It provides a way to incorporate expert knowledge about what are permitted or prohibited equation components, as well as a domain-dependent structured sparsity prior. Our system then utilizes a robust method to learn equations with atomic functions exhibiting singularities, as e.g. logarithm and division. We demonstrate several artificial and real-world experiments from the engineering domain, in which our system learns interpretable models of high predictive power.

研究の動機と目的

• データから解釈可能でコンパクトな数学的方程式を学習する記号的回帰システムの開発。これは、非構造的ディープラーニングマップを越えることを目的とする。
• すべての隠れ層に特異性を持つ原子関数（例：log、除法）を含むニューラルネットワークの安定したトレーニングを可能にすること。これにより、数値的不安定性を克服する。
• 各原子単位ごとの複雑さコストをユーザー定義することで、許容可能または禁止される機能的コンポーネントに関する専門家知識を組み込むこと。
• ドメイン固有の制約に基づいて特定の関数的構成を優遇する、柔軟で構造的なスパarsity正則化を提供すること。
• 合成ベンチマークおよび実世界の工学的問題の両方で手法を評価し、高い予測性能とモデルの解釈可能性を示すこと。

提案手法

• 標準的なニューラルネットワーク活性化関数の代わりに、原子関数（例：sin、log、除法、乗法）の集合を用い、それを微分可能アーキテクチャで合成する。
• log や除法などの特異関数の最適化を安定化させるために、学習可能なパラメータを導入し、定義域違反や勾配爆発を回避する。
• 専門家知識は、各原子関数に個別に複雑さコストを割り当てる一般化されたスパarsity正則化によって符号化され、ユーザー定義の好みを可能にする。
• 予測精度とモデル複雑さの両方を最適化するためのマルチオブジェクティブ最適化戦略を採用。選択は V-int-S や検証性能といった基準により実施。
• アーキテクチャはグローバルおよびドメイン固有の事前分布をサポートする。例として、エンジン出力トルク実験におけるモーター固有の複雑さ要因を用いる。
• モデル選択はパレートフロント解析と検証ベース基準を用いて実施され、計算効率性と解釈可能性が保証される。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークのすべての隠れ層に使用される対数関数や除法といった特異な原子関数に対して、記号的回帰が安定して動作するようになるか。
• RQ2 許容可能または禁止される機能的コンポーネントに関する専門家知識を、ニューラル記号的式学習フレームワークに体系的に組み込む方法は何か。
• RQ3 構造的スパarsity事前分布は、実世界の工学的応用において、学習された式の解釈可能性と予測性能をどの程度向上させ得るか。
• RQ4 ドメイン固有の事前分布を組み込むことで、制約なしの記号的回帰に比べ、よりコンパクトで意味的で一般化可能な式が得られるか。
• RQ5 提案手法は、ガウス過程や遺伝的アルゴリズムといった最先端手法に比べ、精度とモデル単純さの両面で優れているか、または同等の性能を発揮するか。

主な発見

• iEQLフレームワークは、学習可能なパrameter化により、すべての層で特異関数（log や除法）を含む式を安定した最適化で学習に成功した。
• 実世界の燃焼エンジン出力トルクデータセットでは、iEQLがガウス過程と同等またはそれ以上のテスト RMSE を達成し、モデルパラメータ数はたった 170～470 の範囲に収まった。
• モーター固有の事前分布を用いた iEQL モデルは、主に多項式構造で高次の式を生成し、log や cos などの非線形ユニットへの依存を減らした。
• ドメイン固有の複雑さ要因の使用により、非線形ユニット（例：log、cos、exp）の使用が 30～50％ 減少し、乗法および x² 項の使用が増加した。
• より高い表現力を持つにもかかわらず、iEQL は専用に除法を扱う EQL÷ アーキテクチャと同等の性能を示し、優れた一般化性とロバストネスを示した。
• V-int-S 基準により選択された式は、高い解釈可能性と計算効率性を兼ね備えており、顕著な残差分布シフトも認められず、モデルの信頼性が裏付けられた。