[論文レビュー] Universal Approximation Theorem for Equivariant Maps by Group CNNs

Wataru Kumagai, Akiyoshi Sannai|arXiv (Cornell University)|Dec 27, 2020

Neural Networks and Applications参考文献 26被引用数 6

ひとこと要約

本稿では、群畳み込みニューラルネットワーク（CNN）を用いて、群に同変な写像のための統一的で普遍的な近似定理を確立している。2層の群CNNは、非コンパクト群に対しても、無限次元関数空間間の任意のG同変リプシッツ写像を近似可能であることを証明しており、問題を完全に接続されたニューラルネットワーク（FNN）による写像の生成子の近似に還元している。主な貢献は、連続的で非コンパクトな群作用に対して有効な一般化された枠組みを提供することであり、特にユークリッド群やローレンツ群を含む。3次元点群やNLP埋め込みにおける理論的保証を有する。

ABSTRACT

Group symmetry is inherent in a wide variety of data distributions. Data processing that preserves symmetry is described as an equivariant map and often effective in achieving high performance. Convolutional neural networks (CNNs) have been known as models with equivariance and shown to approximate equivariant maps for some specific groups. However, universal approximation theorems for CNNs have been separately derived with individual techniques according to each group and setting. This paper provides a unified method to obtain universal approximation theorems for equivariant maps by CNNs in various settings. As its significant advantage, we can handle non-linear equivariant maps between infinite-dimensional spaces for non-compact groups.

研究の動機と目的

• 異なる対称性群にわたる同変写像の既存の普遍的近似定理を統一すること。
• 非コンパクト群および無限次元関数空間への普遍的近似の拡張すること。
• 3次元データ処理および双曲幾何を用いたNLPにおける群CNNの理論的基盤を確立すること。
• 同変ディープラーニングにおける有限次元表現と関数的表現の間のギャップを埋めること。

提案手法

• ℝᵈおよびℝᵈ′における領域𝒮と𝒯に関する関数空間C₀(𝒮)とC₀(𝒯)間の同変写像を形式化する。
• 定理9（変換定理）を導入し、G同変写像がその生成子によって一意に定まることを示し、FNN近似への還元を可能にする。
• 無限次元かつ非コンパクトな設定下で、2層FNNによるリプシッツ写像の新しい普遍的近似定理を証明する（定理13）。
• 定理13と定理9を組み合わせることで、群CNNのための普遍的近似結果（定理14）を、群作用と測度に関するやや弱い条件下で導出する。
• SE(d)、E(d)、SO⁺(d,1)といった具体的な群にフレームワークを適用し、3次元モーション、点群、双曲NLP表現への適用可能性を示す。
• ルベーグ測度とコンパクト部分集合を用いて、ε許容誤差内での一様近似を保証する。

実験結果

リサーチクエスチョン

• RQ1 多様な対称性群、特に非コンパクトな群を含む状況において、G同変写像の普遍的近似を統一的に扱える理論的枠組みを開発できるか？
• RQ2 非有界な定義域を持つ無限次元関数空間に対しても、普遍的近似定理を拡張することは可能か？
• RQ3 完全に接続されたニューラルネットワーク（FNN）を用いて、G同変写像の生成子をどのように近似できるか？これにより群CNNの構築が可能になる。
• RQ4 ユークリッド対称性を有する3次元データ処理や双曲構造を持つNLPデータ処理において、群CNNの理論的保証は何か？
• RQ5 本フレームワークは、ℝᵈを超える非ユークリッド領域へも拡張可能か？

主な発見

• 非コンパクトな入力定義域を持つ無限次元関数空間間のG同変リプシッツ写像に対しても、普遍的近似定理が確立された。
• 群作用と測度に関するやや弱い条件下で、2層の群CNNはコンパクト部分集合上で任意の精度でG同変写像を近似可能であることが証明された。
• 従来のコンパクト群に限られていた結果を、ユークリッド群E(d) や特殊ユークリッド群SE(d) を含む非コンパクト群へと拡張した。
• 本手法により、3次元データ処理（点群や3次元モーションモデリングを含む）における群CNNの理論的裏付けが可能になった。
• 上半平面へのSO⁺(d,1)の作用を介して、双曲語彙埋め込みに関連するNLPへの応用が可能である。
• 証明は、無限次元かつ非コンパクトな設定下でFNNの普遍的近似定理の新たな技術的進歩に依拠している。