[論文レビュー] Partition of unity networks: deep hp-approximation

Kookjin Lee, Nathaniel Trask+3 more|arXiv (Cornell University)|Jan 27, 2021

Model Reduction and Neural Networks参考文献 27被引用数 6

ひとこと要約

この論文は、畳み込みニューラルネットワークに基づく分割集合と学習可能な多項式基底を明示的に組み合わせることで、効率的で高次の $hp$-近似を可能にする深層学習アーキテクチャ、Partition of Unity Networks (POUnets) を導入する。空間的分割と局所的多項式近似を分離し、二段階の最小二乗最適化手法を用いることで、滑らかな関数に対して $hp$-収束を達成し、不連続性を有する区分的多項式問題において標準的なMLPを常に上回る性能を発揮し、次元の呪いを克服する。

ABSTRACT

Approximation theorists have established best-in-class optimal approximation rates of deep neural networks by utilizing their ability to simultaneously emulate partitions of unity and monomials. Motivated by this, we propose partition of unity networks (POUnets) which incorporate these elements directly into the architecture. Classification architectures of the type used to learn probability measures are used to build a meshfree partition of space, while polynomial spaces with learnable coefficients are associated to each partition. The resulting hp-element-like approximation allows use of a fast least-squares optimizer, and the resulting architecture size need not scale exponentially with spatial dimension, breaking the curse of dimensionality. An abstract approximation result establishes desirable properties to guide network design. Numerical results for two choices of architecture demonstrate that POUnets yield hp-convergence for smooth functions and consistently outperform MLPs for piecewise polynomial functions with large numbers of discontinuities.

研究の動機と目的

• 高次元関数近似における理論的近似性能と実際の最適化失敗の間のギャップを解消すること。
• 深層ニューラルネットワークアーキテクチャに直接 $hp$-有限要素法に類似した構造を埋め込むことで、次元の呪いを克服すること。
• 微分可能でメッシュフリーな分割集合と学習可能な多項式基底を用いて、滑らかでない関数の正確でスケーラブルな近似を可能にすること。
• 分割学習と係数最適化を分離する訓練戦略を開発し、収束性と安定性を保証すること。
• POUnetsがメッシュ生成を回避しながら、有限要素法と同等の指数的収束速度を達成できることを実証すること。

提案手法

• アーキテクチャは、微分可能な分割集合 $\Phi = \{\phi_\alpha(\mathbf{x}; \bm{\xi})\}$ を出力する深層ニューラルネットワークを用いる。ここで $\phi_\alpha$ は非負で総和が1の関数であり、近似を局所化する。
• 各分割要素は、次数 $m$ の局所的多項式基底 $P_\beta(\mathbf{x})$ に関連付けられ、グローバル近似器 $y_{\text{POU}}(\mathbf{x}) = \sum_\alpha \phi_\alpha(\mathbf{x}; \bm{\xi}) \sum_\beta c_{\alpha,\beta} P_\beta(\mathbf{x})$ を形成する。
• 二段階の最適化戦略が採用される：第一段階では、勾配降下法を用いて分割ネットワークを訓練し、互いに重複しない局所化領域を生成する。第二段階では、グローバル最小二乗法により係数 $c_{\alpha,\beta}$ を最適化し、データ適合性を最大化する。
• この手法は、交互最適化スキームを採用する：まず $\bm{\xi}$ を勾配降下法で更新し、次に $\mathbf{c}$ を閉形式の最小二乗法により解くことで、各ステップでグローバル最適性を保証する。
• このアプローチは、ネットワークに直接 $hp$-類似構造を埋め込むことで、次元に伴う指数的スケーリングを回避し、メッシュフリーで高次の近似を可能にする。
• この手法は、滑らかでない関数と区分的多項式関数を対象とした回帰タスクに適用され、分割ネットワークにはResNetアーキテクチャ、多項式基底には標準的な基底が使用される。

実験結果

リサーチクエスチョン

• RQ1 手動で調整されたメッシュに依存せずに、同時に高次の近似性能と局所的関数表現を達成できる深層ニューラルネットワークアーキテクチャを設計できるか？
• RQ2 分割学習と係数適合を分離する二段階の最適化戦略が、関数近似において指数的収束速度を達成できるか？
• RQ3 ネットワークアーキテクチャに直接分割集合と多項式基底を埋め込むことで、不連続性を有する問題において標準的なMLPを上回る性能が得られるか？
• RQ4 潜在的な低次元構造を活用することで、このアーキテクチャが高次元関数近似における次元の呪いを克服できるか？
• RQ5 正則化と最適化スケジュールの選択が、得られる分割の品質と近似精度にどのように影響するか？

主な発見

• POUnetsは滑らかな関数に対して $hp$-収束を達成し、ネットワークサイズと深さに関して指数的収束速度を示す。
• 複数の不連続性を有する区分的多項式関数に対して、POUnetsは全テストケースで1%未満の近似誤差を一貫して達成し、標準的なMLPを上回る。
• 二段階訓練戦略（強力な正則化を用いた分割ネットワークの事前学習、その後の係数の最小二乗適合）により、関数の特徴に適応した非重複で局所化された分割が得られる。
• $p=3$ の区分的2次波の場合、段階2での精錬後、ほぼ機械精度に近い精度が達成され、複雑な不連続性を高精度に捉えていることが示された。
• 正則化を施した事前学習段階が、クリアで重複のない分割を構築するために不可欠であった。正則化なしでは収束が不安定または不正確であった。
• アーキテクチャの計算複雑性は空間次元に伴い指数的に増加せず、高次元回帰タスクにおける次元の呪いに対して耐性を示した。