[論文レビュー] Towards fully covariant machine learning

Soledad Villar, David W. Hogg+3 more|arXiv (Cornell University)|Jan 31, 2023

Computational Physics and Python Applications被引用数 9

ひとこと要約

本論文はパッシブ（共分散）およびアクティブな対称性を導入し、MLモデルはデータ表現から生じるパッシブ対称性を尊重すべきだと主張し、一般化・因果・モデル設計への影響を論じる。

ABSTRACT

Any representation of data involves arbitrary investigator choices. Because those choices are external to the data-generating process, each choice leads to an exact symmetry, corresponding to the group of transformations that takes one possible representation to another. These are the passive symmetries; they include coordinate freedom, gauge symmetry, and units covariance, all of which have led to important results in physics. In machine learning, the most visible passive symmetry is the relabeling or permutation symmetry of graphs. Our goal is to understand the implications for machine learning of the many passive symmetries in play. We discuss dos and don'ts for machine learning practice if passive symmetries are to be respected. We discuss links to causal modeling, and argue that the implementation of passive symmetries is particularly valuable when the goal of the learning problem is to generalize out of sample. This paper is conceptual: It translates among the languages of physics, mathematics, and machine-learning. We believe that consideration and implementation of passive symmetries might help machine learning in the same ways that it transformed physics in the twentieth century.

研究の動機と目的

• MLと物理学の文脈でパッシブ対称性とアクティブ対称性を定義する。
• データ表現の選択（座標、単位など）からパッシブ対称性が生じる仕組みを説明する。
• パッシブ対称性を強制することが学習と一般化を改善する方法を示す概念的指針と例を提供する。
• パッシブ対称性と因果モデリングの関係を論じる。
• パッシブ対称性を尊重するようMLモデルを構築するための実践的指針を提供する。

提案手法

• グループ作用と可換図を用いたパッシブ対称性とアクティブ対称性の形式的定義。
• 次元解析の議論を含む普遍的なパッシブ対称性としての単位共変性の議論。
• 回帰におけるパッシブ対称性を強制する利点を示すおもちゃの例。
• パッシブ対称性と因果性の概念的関連、モデル設計と正規化への示唆。
• 分野横断理解を助ける物理学用語とML用語の翻訳辞典。

実験結果

リサーチクエスチョン

• RQ1 パッシブ対称性とアクティブ対称性とは何か、そしてそれらはMLの表現とデータ分析にどのように関連するのか。
• RQ2 パッシブ対称性（共分散）を強制することが学習成果やアウトオブサンプル一般化にどのように影響するか。
• RQ3 MLモデルにおけるパッシブ対称性の実装上の課題は何か、いつアクティブ対称性から転換できるのか。
• RQ4 パッシブ対称性は因果モデリングと介入の概念とどのように結びつくか。
• RQ5 データ正規化とモデルアーキテクチャがパッシブ対称性を尊重するようどんな指針があるか。

主な発見

• パッシブ対称性は表現選択（座標、単位、ゲージ、再パラメータ化）から生じ、定義によって厳密である。
• パッシブ対称性を強制することは、問題の根底にあるスケーリング法則や欠落している要素を明らかにする。
• 単位共分散はアウトオブサンプル一般化を改善し、次元的定数（例：黒体放射のおもちゃの例のプランク定数）の発見を導く。
• 多くのML実践はパッシブ対称性を尊重しておらず、これが体系的な誤りにつながる可能性がある。尊重することは正則化、アーキテクチャ、正規化の変更を示唆する。
• パッシブ対称性と因果推論の意味ある関係があり、因果グラフの整合性制約や必要入力を特定する介入の役割を含む。