[論文レビュー] On Representing (Anti)Symmetric Functions

Marcus Hütter|arXiv (Cornell University)|Jul 30, 2020

Neural Networks and Applications参考文献 18被引用数 14

ひとこと要約

本稿では、連続（反）対称関数を近似するための等変かつ反対称なニューラルネットワークの普遍性を確立し、等変マルチレイヤーパーセプトロン（EMLP）が対称関数を普遍的に近似できること、および一般化スレーター行列式を用いるフェルミネットが任意の連続反対称関数を近似できることを証明している。1次元の場合には連続性と微分可能性の明示的保証が得られ、高次元では未解決の問題が残っている。

ABSTRACT

Permutation-invariant, -equivariant, and -covariant functions and anti-symmetric functions are important in quantum physics, computer vision, and other disciplines. Applications often require most or all of the following properties: (a) a large class of such functions can be approximated, e.g. all continuous function, (b) only the (anti)symmetric functions can be represented, (c) a fast algorithm for computing the approximation, (d) the representation itself is continuous or differentiable, (e) the architecture is suitable for learning the function from data. (Anti)symmetric neural networks have recently been developed and applied with great success. A few theoretical approximation results have been proven, but many questions are still open, especially for particles in more than one dimension and the anti-symmetric case, which this work focusses on. More concretely, we derive natural polynomial approximations in the symmetric case, and approximations based on a single generalized Slater determinant in the anti-symmetric case. Unlike some previous super-exponential and discontinuous approximations, these seem a more promising basis for future tighter bounds. We provide a complete and explicit universality proof of the Equivariant MultiLayer Perceptron, which implies universality of symmetric MLPs and the FermiNet.

研究の動機と目的

• 量子物理学やポイントクラウド処理において不可欠な（反）対称関数を正確に表現できるニューラルネットワークアーキテクチャの理論的基盤を確立すること。
• 連続反対称ニューラルネットワークがすべての連続反対称関数を普遍的に近似可能かどうかという未解決問題、特に高次元における問題を扱うこと。
• 等変マルチレイヤーパーセプトロン（EMLP）の構成的かつ完全な普遍性証明を提供すること。EMLPは対称および反対称ネットワークの基盤をなす。
• 一般化スレーター行列式（GSD）に基づく表現の滑らかさと微分可能性を分析すること。特にバーデモンデターミナントにおける微分可能性の損失と関連して検討する。
• d > 1次元における効率的で連続的かつ微分可能な反対称関数の表現に関する未解決問題を特定・明確化すること。

提案手法

• 共有重みと群等変表現を活用することで、任意の連続等変関数を近似可能であることを示す、EMLPの構成的普遍性証明を用いる。
• d=1の場合の多対称多項式の極化基底を用いて、連続的で微分可能かつ効率的な対称関数表現を構築する。
• 1次元の場合に一般化スレーター行列式（GSD）をバーデモンデターミナントに還元し、反対称関数表現の滑らかさと微分可能性を分析する。
• 入力関数がC^kであるとき、1次元で1つのGSDがC^{k+n(n-1)/2}のすべての反対称関数を表現できることを示し、滑らかさのトレードオフを確立する。
• EMLPの出力を和または行列式演算によって対称化または反対称化することで、EMLPの普遍性結果を対称MLPおよびフェルミネットに拡張する。
• 近似誤差とパラメータ効率を分析し、重み共有によりパラメータ数が約n/2減少するが、基底サイズがO(n^d)に増加するため、表現能力に影響を与えることを見出す。

実験結果

リサーチクエスチョン

• RQ1 等変マルチレイヤーパーセプトロン（EMLP）は、すべての連続対称関数および反対称関数を普遍的に近似可能か？
• RQ2 d=1の場合、1つの一般化スレーター行列式（GSD）はすべての連続反対称関数を表現可能か？また、その入力関数に必要な滑らかさは何か？
• RQ3 d>1の場合、1つのGSDを用いてすべての連続反対称関数を連続的かつ微分可能な表現で表現可能か？あるいは不連続性は避けがたいか？
• RQ4 入力関数の滑らかさとGSD表現の滑らかさとの関係、特に微分可能性の損失の観点から、どのような関係があるか？
• RQ5 近似誤差なしに、効率的で連続的かつ微分可能な反対称関数のみを表現できるニューラルネットワークアーキテクチャを構築可能か？

主な発見

• 等変マルチレイヤーパーセプトロン（EMLP）が連続等変関数に関して普遍的であることが証明され、これは対称MLPおよびフェルミネットの普遍性を示唆する。
• d=1の場合、C^{k+n(n-1)/2}に属する任意の連続反対称関数は、C^kに属する関数の行列の行列式として表現可能であり、滑らかさを保つ表現が確立される。
• d=1の場合、GSDによる表現は連続性と微分可能性を制御された損失まで保ち、入力関数がC^kであればGSDもC^kとなる。
• d>1の場合、普遍性の証明は表現に不連続成分を含むことに依存しており、すべての連続反対称関数を連続的に表現できるかは不明である。
• EMLPの近似誤差は標準MLPと同様にスケーリングすると予想されるが、重み共有によりパラメータ数が減少する。一方、基底サイズはO(n^d)に増加するため、表現能力に影響を与える。
• フェルミネットはGSDに基づくアーキテクチャの特殊ケースとして、d>1において任意の連続反対称関数をL^pノルムで近似可能であるが、L^∞の場合については未解決の問題のままである。