[論文レビュー] Symmetry Group Equivariant Architectures for Physics

Alexander Bogatskiy, S. Ganguly+9 more|arXiv (Cornell University)|Mar 11, 2022

Machine Learning in Materials Science被引用数 4

ひとこと要約

この論文は、物理学的対称性群—回転、並進、ゲージ対称性など—に対する等長性を明示的に設計された機械学習アーキテクチャの開発を提唱し、物理学的応用におけるモデル性能、データ効率、解釈可能性の向上を図るものである。これらの対称性をニューラルネットワーク設計に直接埋め込むことで、標準の非等長アーキテクチャに比べ、より少ないサンプル数、より少ないパラメータ数、より物理的に解釈可能なモデルが実現可能となる。

ABSTRACT

Physical theories grounded in mathematical symmetries are an essential component of our understanding of a wide range of properties of the universe. Similarly, in the domain of machine learning, an awareness of symmetries such as rotation or permutation invariance has driven impressive performance breakthroughs in computer vision, natural language processing, and other important applications. In this report, we argue that both the physics community and the broader machine learning community have much to understand and potentially to gain from a deeper investment in research concerning symmetry group equivariant machine learning architectures. For some applications, the introduction of symmetries into the fundamental structural design can yield models that are more economical (i.e. contain fewer, but more expressive, learned parameters), interpretable (i.e. more explainable or directly mappable to physical quantities), and/or trainable (i.e. more efficient in both data and computational requirements). We discuss various figures of merit for evaluating these models as well as some potential benefits and limitations of these methods for a variety of physics applications. Research and investment into these approaches will lay the foundation for future architectures that are potentially more robust under new computational paradigms and will provide a richer description of the physical systems to which they are applied.

研究の動機と目的

• 理論物理学における基礎的役割を果たす物理的対称性が、機械学習モデルの物理学的応用において依然として十分に活用されていないという問題に対処するため。
• 機械学習アーキテクチャに対称性群等長性を組み込むことで、物理学的タスクにおける性能向上、データ効率の向上、解釈可能性の向上が達成されることを示すため。
• 物理学向けの対称性に配慮した機械学習モデルの開発・最適化に向けた専用の資金援助と研究投資の推進を提唱するため。
• 対称性等長学習のための共通のツールとフレームワークを促進することで、物理学と機械学習のコミュニティの間の格差を埋めるため。
• 将来の強固でスケーラブルかつ物理的に意味のある機械学習アーキテクチャの基盤を築くため。これらのアーキテクチャは、エクサスケールコンピューティングや複雑な物理系と互換性を持つものである。

提案手法

• 特定の物理的対称性群（ユークリッド、ローレンツ、ゲージ対称性など）に対して等長であるように、ニューラルネットワークアーキテクチャを構築する。
• 群表現論を用いて、対称性群作用の下で予測可能に変化する活性化関数やレイヤー演算を定義する。
• 等長性を保つように設計された構築ブロック（例：スティアブルCNN、等長グラフネットワーク、テンソルフィールドネットワーク）を用い、層間で対称性構造を維持する。
• 再利用可能な、対称性に特化したコンponentsを活用することで、アーキテクチャの冗長性を低減し、学習効率を向上させる。
• シンボリックな群計算（例：SymPyを介して）を数値実装と統合し、異なる対称性族にわたる一般化を可能にする。
• 計算コストを低減しつつも性能の利点を維持するため、ソフト等長性や低次の群近似を検討する。

実験結果

リサーチクエスチョン

• RQ1 対称性群等長性は、物理学的応用における機械学習モデルのサンプル効率および一般化性能をどのように向上させるか？
• RQ2 複雑な対称性群を有する物理系において、正確な等長性と近似等長性を強制する際の計算コストとアーキテクチャ的トレードオフは何か？
• RQ3 既存の機械学習フレームワークは、多様な物理学分野にわたる対称性等長モデルの開発・デプロイメントをどのように支援できるか？
• RQ4 科学的機械学習における等長モデルと非等長モデルを比較するにあたり、最も適切な指標と評価プロトコルは何か？
• RQ5 物理学研究における対称性等長アーキテクチャの広範な採用を可能にするために、どのようなインfra構築とツール開発の投資が必要か？

主な発見

• 回転、並進、置換不変性といった対称性をニューラルネットワーク設計に組み込むことで、より少ないパラメータ数かつより表現力の高いパラメータを持つモデルが得られ、一般化性能が向上する。
• 等長モデルは高いデータ効率を示し、顕著に少ない訓練データセットとモデルパラメータ数で優れた性能を達成できる。
• 対称性に配慮したアーキテクチャの使用は、解釈性を向上させる。これは、モデルの構成要素を物理的観測量や保存量に対応させることができるからである。
• 等長構築ブロックは、異なる物理学的問題や対称性群にわたって再利用可能であり、重複したアーキテクチャ開発の必要性を低減する。
• 利点がある一方で、対称性を強制することは計算コストを伴い、特に低次元の対称性群や、最適化の軌道を複雑にする対称性制約がある場合には顕著である。
• 一般用途のツールキットは、依然として存在せず、特に非ユークリッド的または正定値でない空間（例：時空）におけるシンボリックな群計算の課題や、最適化アルゴリズムの不足が要因である。