[論文レビュー] Extrapolation and learning equations

Georg Martius, Christoph H. Lampert|arXiv (Cornell University)|Oct 10, 2016

Neural Networks and Applications被引用数 18

ひとこと要約

この論文では、スパarsity正則化と勾配ベースの学習を通じて、未知のドメインに一般化することができる微分可能で順方向のニューラルネットワーク、Equation Learner (EQL) を導入する。EQL は、真の関数がその仮説クラスに含まれる場合、学習分布を超えて外挿でき、合成的および実世界の物理系において高い精度を達成する。

ABSTRACT

In classical machine learning, regression is treated as a black box process of identifying a suitable function from a hypothesis set without attempting to gain insight into the mechanism connecting inputs and outputs. In the natural sciences, however, finding an interpretable function for a phenomenon is the prime goal as it allows to understand and generalize results. This paper proposes a novel type of function learning network, called equation learner (EQL), that can learn analytical expressions and is able to extrapolate to unseen domains. It is implemented as an end-to-end differentiable feed-forward network and allows for efficient gradient based training. Due to sparsity regularization concise interpretable expressions can be obtained. Often the true underlying source expression is identified.

研究の動機と目的

• 古典的な機械学習の限界、特に解析的方程式に従う物理系において、学習データ分布を超えて外挿できないことに対処すること。
• ブラックボックス近似ではなく、解釈可能で簡潔な数学的表現を生成する関数学習フレームワークを開発すること。
• 外挿に適したモデルを設計することで、ロボット工学や制御系における安全性に不可欠な、分布外入力への頑健な一般化を可能にすること。
• 妥当性検証誤差とスパarsityの多目的最最適化に基づく、一般化可能で解釈可能な方程式を優先する、新しいモデル選択戦略を導入すること。
• エンドツーエンド微分可能アーキテクチャと構造的非線形ユニットを組み合わせることで、限られた観測値やノイズのある観測値からでも、真の物理的法則をデータから回復できることを実証すること。

提案手法

• EQL は、線形変換に続く特殊な非線形ユニット（恒等関数、正弦、余弦、シグモイドの単項関数および二項乗算ユニット）を持つ多層順方向ネットワークである。
• ネットワークのアーキテクチャは、物理方程式に見られる一般的な解析的形式（三角関数や多項式項など）を、固定された微分可能ベース関数の集合によって表現できるように設計されている。
• スパarsity は L1 正則化と重みに対する L0 範数制約によって強制され、不要な項を排除することで、簡潔で解釈可能な方程式を促進する。
• ネットワーク全体がエンドツーエンド微分可能であり、バックプロパゲーションと標準的な最適化手法による効率的な学習が可能である。
• モデル選択には、妥当性検証データ上の経験的誤差と学習済み方程式のスパarsity をバランスさせる多目的基準が用いられ、補間よりも一般化を優先する。
• 本手法は、真の関数が既知の基底関数で表現可能な合成データと、ロボットの動的挙動や X 線遷移エネルギーを含む実世界の物理系データに対して評価されている。

実験結果

リサーチクエスチョン

• RQ1 解釈可能な解析的表現を学習でき、学習分布を超えて一般化可能なニューラルネットワークアーキテクチャを設計できるか？
• RQ2 特定の微分可能ベース関数（例：正弦、余弦、シグモイド、乗算）の導入が、真の物理的法則を回復する能力にどのように影響するか？
• RQ3 スパarsity 正則化と L0 範数制約が、学習済み方程式の解釈可能性と外挿性能をどの程度向上できるか？
• RQ4 妥当性誤差とスパarsity を最適化する本手法のモデル選択戦略は、外挿能力に優れたモデルを同定する点で、標準的手法と比較してどう異なるか？
• RQ5 真の関数がネットワークの仮説クラスに含まれない場合、本手法の限界は何か？

主な発見

• 合成実験において、真の関数が仮説クラスに含まれる場合、EQL は真の関数を正確に回復し、強い外挿性能を示した。
• カート・ペンデュラム系では、有理関数（除法）が含まれるため仮説クラス外に位置するが、EQL と MLP は両者とも外挿性能が低く、EQL は遠方外挿セットでテスト誤差 0.180 を記録した。
• カート・ペンデュラム系では、近方外挿において MLP が EQL よりも優れた性能（0.0184 対 0.0621）を示したが、両者とも遠方外挿において顕著に失敗しており、モデルクラスが不十分であることが示された。
• X 線遷移エネルギーのデータケースでは、EQL は簡潔で解釈可能な方程式を学習し、既知の物理的関係と一致した。これは、実世界への応用可能性を示している。
• L1 正則化と L0 範数制約の使用により、スパースかつバイアスのない重み推定が可能となり、真の関数形を反映する簡潔で解釈可能な方程式が得られた。
• 真の関数がネットワークの仮説クラスに表現不可能な場合、本手法は正しい方程式を回復できないことが判明した。これは、より広範な適用性を得るためには、ベース関数の集合を拡張する必要があることを示唆している。