[論文レビュー] Universal approximation of symmetric and anti-symmetric functions

Jiequn Han, Yingzhou Li+4 more|arXiv (Cornell University)|Dec 4, 2019

Approximation Theory and Sequence Spaces被引用数 7

ひとこと要約

本稿は、次元および目的の精度に基づく明示的な誤差バウンドを伴う、対称関数および反対称関数に対するニューラルネットワークを用いた、初めての明示的普遍近似定理を提示する。 Vandermonde行列式と置換不変写像を用いて近似を構築し、次元の Curse にかかわらず明示的なパラメータ数の上限を達成する。

ABSTRACT

We consider universal approximations of symmetric and anti-symmetric functions, which are important for applications in quantum physics, as well as other scientific and engineering computations. We give constructive approximations with explicit bounds on the number of parameters with respect to the dimension and the target accuracy $ε$. While the approximation still suffers from the curse of dimensionality, to the best of our knowledge, these are the first results in the literature with explicit error bounds for functions with symmetry or anti-symmetry constraints.

研究の動機と目的

• 対称および反対称関数に対する普遍近似定理を、明示的な誤差バウンドを伴って確立すること。
• 科学的計算における対称性制約下でのニューラルネットワーク近似の理論的保証の欠如に対処すること。
• 対称性または反対称性を強制しながらも表現力を維持する、構成的ニューラルネットワークアーキテクチャを提供すること。
• 次元の Curse の下でのこのような近似のパラメータ効率性およびスケーラビリティを分析すること。

提案手法

• 特徴変数と置換不変写像に基づく表形式戦略を用いて、対称近似を構築する。
• 置換不変写像 $Y^Z$ を用いて、近似における対称性制約が保持されることを保証する。
• 反対称関数の普遍的アンサンブルとしての Vandermonde 行列式を用い、反対称波動関数の明示的近似を可能にする。
• 誤差 $\epsilon$ 内での近似に必要なパラメータ数の明示的バウンドを、次元 $d$、粒子数 $N$、および精度 $\epsilon$ に応じて導出する。
• 対称性制約を近似アーキテクチャに組み込むために、インジケータ関数を適用する。
• 変分モンテカルロへの応用を想定し、試行波動関数形式 $f(X) = \sum_{k=1}^K U^k(X) \prod_{i<j}(y^k_i(X) - y^k_j(X))$ を提案する。

実験結果

リサーチクエスチョン

• RQ1 高次元設定において、対称および反対称関数の普遍的近似が、明示的な誤差バウンドを伴って達成可能か？
• RQ2 与えられた精度 $\epsilon$ 内で対称または反対称関数を近似するためのニューラルネットワークに必要な最小パラメータ数は何か？
• RQ3 対称性制約は、ニューラルネットワーク近似の一般化性能およびパラメータ効率性にどのように影響するか？
• RQ4 不連続なソーティング層に依存せずに、連続的かつ対称性を保つ近似を構築可能か？
• RQ5 反対称関数の普遍的アンサンブルとしての Vandermonde 行列式は、量子多体問題における役割を果たすか？

主な発見

• 本稿は、$\epsilon$、$N$、$d$ に応じた、明示的かつ証明可能な誤差バウンドを伴う、対称および反対称関数に対する初めての普遍近似定理を確立した。
• 対称関数の場合、必要なパラメータ数は $\mathcal{O}(2^N / \epsilon^{Nd} N!)$ のスケーリングを示し、次元の Curse を反映している。
• 反対称関数の場合、Vandermonde 行列式を普遍的アンサンブルとして用いることで、明示的なパラメータバウンドを伴う普遍近似が可能である。
• 近似手法は置換不変写像と表形式戦略に依存しており、ネットワーク全体を通して対称性が保たれる。
• ソーティング層に起因する不連続性を回避しているが、強力なノードマッチング仮定のため、連続的バージョンは今後の課題として残されている。
• 提案されたアンサンブル $f(X) = \sum_{k=1}^K U^k(X) \prod_{i<j}(y^k_i(X) - y^k_j(X))$ は、変分モンテカルロにおけるスレイター行列式の有効かつ効率的な代替手段であることが示された。