[論文レビュー] Scalars are universal: Equivariant machine learning, structured like classical physics

Soledad Villar, David W. Hogg+3 more|arXiv (Cornell University)|Jun 11, 2021

Computational Physics and Python Applications被引用数 34

ひとこと要約

本研究は、ユークリッド、ローレンツ、ポインカレ対称性の下で広範なクラスの共変関数が、不変スカラー積と縮約のみを用いて普遍的に近似できることを示し、スケール可能なスカラーベースのニューラルアーキテクチャを実現する。

ABSTRACT

There has been enormous progress in the last few years in designing neural networks that respect the fundamental symmetries and coordinate freedoms of physical law. Some of these frameworks make use of irreducible representations, some make use of high-order tensor objects, and some apply symmetry-enforcing constraints. Different physical laws obey different combinations of fundamental symmetries, but a large fraction (possibly all) of classical physics is equivariant to translation, rotation, reflection (parity), boost (relativity), and permutations. Here we show that it is simple to parameterize universally approximating polynomial functions that are equivariant under these symmetries, or under the Euclidean, Lorentz, and Poincaré groups, at any dimensionality $d$. The key observation is that nonlinear O($d$)-equivariant (and related-group-equivariant) functions can be universally expressed in terms of a lightweight collection of scalars -- scalar products and scalar contractions of the scalar, vector, and tensor inputs. We complement our theory with numerical examples that show that the scalar-based method is simple, efficient, and scalable.

研究の動機と目的

• 複数の群と次元にまたがる厳密な物理対称性を尊重する機械学習モデルの構築を動機づける。
• スカラー積と縮約を用いて古典物理学の対称性に対するすべての不変関数と共変関数を特徴づけ、パラメータ化する。
• 多くの群に対して明示的な不可約表現分解を回避する、スケーラブルで普遍的な枠組みを提供する。

提案手法

• 第一基本定理を用いて、O(d) およびローレンツ不変のスカラーを記述するのに不変スカラー関数が十分であることを示す。
• O(d) および O(1,d)-共変ベクトル関数は、不変スカラー関数の和と入力ベクトルの線形結合として表現できることを示す（h(v1,...,vn)=sum_t f_t(...) v_t）。
• SO(d) への特徴付けを、一般化された外積（cross products）を用いて拡張し、必要に応じて特異な張り合わせ（exceptional spans）を扱う。
• 座標変換を含むユークリッド群とポインカレ群へ拡張し、平行移動とローレンツ不変性を含む対応するスカラー係数関数を用意する。
• パラメータ化を形式化する命題と補助定理（例：第一基本定理、平行移動不変性の縮約）を提供する。
• 理論を実践的なニューラルネットワーク設計と関連付け、完全な不可約表現の代わりにスカラーを用いた近似の可能性を議論する。

実験結果

リサーチクエスチョン

• RQ1 古典物理対称性の下で、すべての不変関数および共変関数は、スカラー積と縮約のみを用いて取り込むことができるか？
• RQ2 このようなスカラーベースの特徴付けを、不可約表現に依存せずにニューラルネットワークで普遍的近似を達成するように実装するにはどうすればよいか？
• RQ3 O(d)、SO(d)、ローレンツ、ポインカレ、平行移動、置換を含む全ての不変/共変写像を生成する正確な数学的形式と条件は何か？
• RQ4 このスカラー中心アプローチを現実の物理問題に適用する際の限界と実用的な考慮事項は何か？

主な発見

• ユークリッド、ローレンツ、ポインカレ群の下で、不変・共変関数の広範なクラスは、不変スカラーと線形スカラー縮約だけで表現できる。
• O(d) および O(1,d)-共変ベクトル関数は、不変スカラー係数関数と入力ベクトルの和として表現でき、多項式の場合は引き続き多項式である。
• SO(d) の場合、一般化された外積はスカラー縮約の枠組みを拡張し、特定の張り合わせ構成を除いてすべての共変ベクトルを捉える。
• このアプローチは、共変関数を普遍的に近似できる単純でスケーラブルなアーキテクチャを生み出し、表現論ベースの方法に対する原理的代替となる。
• 平行移動とローレンツ不変性は、ミンコフスキー内積の不変スカラー関数へ還元することによって組み込むことができ、ポインカレ作用下での共変性を保持する。
• エネルギーや電磁力など、既存の物理インスパイア表現と、その成分を不変スカラー積とベクトルの組み合わせとして示すことで結びつく。