[論文レビュー] Low Dimensional Invariant Embeddings for Universal Geometric Learning

Nadav Dym, Steven J. Gortler|arXiv (Cornell University)|May 5, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、連続的な族からランダムに $2D+1$ 個の半代数的不変量を選んで、幾何的深層学習のための低次元分離不変量を構築する手法を提案する。従来の手法と比較してはるかに少ない特徴量で普遍近似を達成する。主な貢献は、$D$ 次元の領域における群作用のもとで、完全な軌道分離に $2D+1$ 個の不変量で十分であることを証明したことである。計算コストを著しく削減しながら理論的普遍性を維持できる。

ABSTRACT

This paper studies separating invariants: mappings on $D$ dimensional domains which are invariant to an appropriate group action, and which separate orbits. The motivation for this study comes from the usefulness of separating invariants in proving universality of equivariant neural network architectures. We observe that in several cases the cardinality of separating invariants proposed in the machine learning literature is much larger than the dimension $D$. As a result, the theoretical universal constructions based on these separating invariants is unrealistically large. Our goal in this paper is to resolve this issue. We show that when a continuous family of semi-algebraic separating invariants is available, separation can be obtained by randomly selecting $2D+1 $ of these invariants. We apply this methodology to obtain an efficient scheme for computing separating invariants for several classical group actions which have been studied in the invariant learning literature. Examples include matrix multiplication actions on point clouds by permutations, rotations, and various other linear groups. Often the requirement of invariant separation is relaxed and only generic separation is required. In this case, we show that only $D+1$ invariants are required. More importantly, generic invariants are often significantly easier to compute, as we illustrate by discussing generic and full separation for weighted graphs. Finally we outline an approach for proving that separating invariants can be constructed also when the random parameters have finite precision.

研究の動機と目的

• 従来の普遍等変性ネットワーク構築法における分離不変量の数が多すぎる問題を解決すること。
• 連続的な群作用の下で、$D$ 次元領域における軌道分離に $2D+1$ 個の不変量で十分であることを示すこと。
• 置換、回転、線形群などの古典的群作用に対して、効率的かつ計算可能に分離不変量を構築する方法を提供すること。
• 完全分離と一般分離のトレードオフを検討し、一般分離には $D+1$ 個の不変量で十分であり、これはしばしば計算が容易であることを示すこと。
• 有限精度のランダムパラメータを用いた不変量学習における普遍性を証明する基盤を構築すること。

提案手法

• 連続的な半代数的分離不変量の族を活用し、$2D+1$ 個のランダムに選択された不変量を用いてランダム埋め込みを構築する。
• 各 $\phi_i$ が半代数的不変量関数である $m = 2D+1$ 個の埋め込み $\phi(x) = (\phi_1(x), \dots, \phi_m(x))$ を適用する。
• このようなランダム選択が、横断性および次元の議論に基づき、ほとんど確実に軌道分離を保証するという理論的結果を用いる。
• 点群に作用する置換、回転、線形群などの群作用に対して、手法を実証する。
• 一般分離のためには $D+1$ 個の不変量を用い、これは特異集合がデータ分布において測度が小さい場合に十分であり、計算が容易である。
• 内部次元 $D$ が小さい合成点群を用いて実験的に検証し、$m = 2D+1$ の場合に高いテスト精度を達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 多項式生成子集合のサイズ未満に、普遍的幾何学的学習に必要な分離不変量の数を削減できるか？
• RQ2 連続的な族からランダムに選ばれた半代数的不変量 $2D+1$ 個で、完全な軌道分離を達成できるか？
• RQ3 実際の応用において、$D+1$ 個の不変量による一般分離と、$2D+1$ 個の不変量による完全分離の間で、精度と計算コストの違いは何か？
• RQ4 群作用やデータ分布の摂動に対して、得られる不変量埋め込みの安定性はいかがなものか？
• RQ5 理論的枠組みを、現実世界の実装における有限精度のランダムパラメータに拡張できるか？

主な発見

• $D=1$ の場合、$m=3$ 個の不変量を用いた埋め込みで、二値分類タスクで98％のテスト精度を達成し、高い外在次元であっても効果的な分離が可能であることを示した。
• 実験表の対角成分から、$m = 2D+1$ 埋め込みが高精度を達成しており、理論的保証である単射性が裏付けられている。
• $m > 2D+1$ 個の不変量を用いることで精度がさらに向上し、深層学習における過剰パラメータ化の利点と整合的である。
• 一般分離に $D+1$ 個の不変量を用いることは、特異集合の測度がデータ分布で小さい場合に計算可能かつ十分であることが多い。
• 例えば、べき和多項式では1億8千万以上もの不変量が必要となるが、本手法では $3\times1024$ 点群に対しわずか2048個の不変量にまで削減され、桁違いの削減が達成された。
• 従来の不変量理論の構築法と比較して、著しく計算複雑性が低減された、証明可能に普遍な不変量学習を可能にした。