[論文レビュー] Dimensionless machine learning: Imposing exact units equivariance

Soledad Villar, Weichi Yao+3 more|arXiv (Cornell University)|Apr 2, 2022

Computational Physics and Python Applications被引用数 14

ひとこと要約

本論文は、次元解析を用いて入力を次元なしの量に変換することで、機械学習における正確な単位不変性を実現するフレームワークを提案する。これにより、予測が異なる単位系においても正しくスケーリングされることが保証される。この手法は、バッキンガムのΠ定理と群不変性学習を用いて物理的整合性を強制することで、記号的回帰およびエミュレーションタスクにおける汎化性能と精度を向上させる。

ABSTRACT

Units equivariance (or units covariance) is the exact symmetry that follows from the requirement that relationships among measured quantities of physics relevance must obey self-consistent dimensional scalings. Here, we express this symmetry in terms of a (non-compact) group action, and we employ dimensional analysis and ideas from equivariant machine learning to provide a methodology for exactly units-equivariant machine learning: For any given learning task, we first construct a dimensionless version of its inputs using classic results from dimensional analysis, and then perform inference in the dimensionless space. Our approach can be used to impose units equivariance across a broad range of machine learning methods which are equivariant to rotations and other groups. We discuss the in-sample and out-of-sample prediction accuracy gains one can obtain in contexts like symbolic regression and emulation, where symmetry is important. We illustrate our approach with simple numerical examples involving dynamical systems in physics and ecology.

研究の動機と目的

• 物理科学分野で用いられる機械学習モデルにおける明示的な次元整合性の欠如に対処すること。
• 機械学習モデルが単位変更に対して正確に不変性を示すような体系的な手法を開発すること。これは物理学における基本的な対称性である。
• 特徴空間に次元不変性を直接埋め込むことで、モデルの汎化性能と誘導的バイアスを向上させること。
• 入力の次元なし組み合わせが異なる単位系においても不変であることに着目し、テスト時の外挿性能を向上させること。
• 回帰、記号的回帰、エミュレーションタスクに適用可能な軽量で汎用的なフレームワークを提供すること。

提案手法

• 入力特徴量の次元が既知である場合に、バッキンガムのΠ定理を適用して次元なし不変量の完全な集合を導出する。
• 任意の機械学習モデルに供給する前に、すべての入力特徴量を次元なしの組み合わせに変換する。
• 次元なし特徴空間でモデルを学習させ、単位スケーリング変換に対して不変性を保証する。
• 既知の物理定数を用いて次元なし変換を逆算することで、元の次元空間における予測を再構築する。
• 群不変性学習の原則を用いて、モデルの出力が入力の単位変更に適切にスケーリングされることを保証する。
• 整数線形代数アルゴリズムを活用し、入力の次元から最小生成集合を体系的に特定する。

実験結果

リサーチクエスチョン

• RQ1 科学的応用を想定した機械学習モデルにおいて、単位不変性を形式的に定義・実装する方法は何か？
• RQ2 次元整合性を強制することで、記号的回帰およびエミュレーションタスクにおける汎化性能と予測精度はどの程度向上するか？
• RQ3 次元なし特徴工学が、性能を維持または向上させつつモデル容量を低減できるか？
• RQ4 テスト入力が学習データと異なる単位系を用いる場合、本手法がどのように外挿一般化を可能にするか？
• RQ5 基本的な物理定数や次元が不明な場合、本手法の実用的限界は何か？

主な発見

• バッキンガムのΠ定理を用いて入力変数から次元なし特徴量を構築することで、正確な単位不変性を達成した。
• 実験的結果から、記号的回帰およびエミュレーションタスクにおける内挿および外挿予測精度が顕著に向上した。
• 次元なし組み合わせが重複する限り、学習データと異なる単位系を用いたテスト入力に対しても一般化が可能である。
• 次元不変性を用いたモデル容量の低減により、汎化性能が向上し、過学習が軽減された。
• フレームワークは、低波長極限におけるレイリー＝ジーンズの法則といった既知の物理法則を正確に回復でき、物理的整合性を示した。
• 本手法は、未知の物理法則や定数を発見しないことから、未知の物理的法則を含む問題における主な限界を示している。