[論文レビュー] Universal Scalable Robust Solvers from Computational Information Games and fast eigenspace adapted Multiresolution Analysis

Houman Owhadi, Clint Scovel|arXiv (Cornell University)|Mar 31, 2017

Image and Signal Denoising Methods参考文献 133被引用数 21

ひとこと要約

この論文は、数値計算を計算的情報ゲームとして定式化することにより、任意の有界線形作用素に対して普遍的でスケーラブルかつロバストなソルバーフレームワークを導入する。このフレームワークでは、作用素の固有空間に適合した基底関数（ギャンブルト）を提案し、近似的に線形の複雑度を達成する高速なマルチスケール分解を可能にし、PDEの広いクラスに対してO(N polylog N)のソルバーや条件数の制御を実現する。

ABSTRACT

We show how the discovery of robust scalable numerical solvers for arbitrary bounded linear operators can be automated as a Game Theory problem by reformulating the process of computing with partial information and limited resources as that of playing underlying hierarchies of adversarial information games. When the solution space is a Banach space $B$ endowed with a quadratic norm $\|\cdot\|$, the optimal measure (mixed strategy) for such games (e.g. the adversarial recovery of $u\in B$, given partial measurements $[ϕ_i, u]$ with $ϕ_i\in B^*$, using relative error in $\|\cdot\|$-norm as a loss) is a centered Gaussian field $ξ$ solely determined by the norm $\|\cdot\|$, whose conditioning (on measurements) produces optimal bets. When measurements are hierarchical, the process of conditioning this Gaussian field produces a hierarchy of elementary bets (gamblets). These gamblets generalize the notion of Wavelets and Wannier functions in the sense that they are adapted to the norm $\|\cdot\|$ and induce a multi-resolution decomposition of $B$ that is adapted to the eigensubspaces of the operator defining the norm $\|\cdot\|$. When the operator is localized, we show that the resulting gamblets are localized both in space and frequency and introduce the Fast Gamblet Transform (FGT) with rigorous accuracy and (near-linear) complexity estimates. As the FFT can be used to solve and diagonalize arbitrary PDEs with constant coefficients, the FGT can be used to decompose a wide range of continuous linear operators (including arbitrary continuous linear bijections from $H^s_0$ to $H^{-s}$ or to $L^2$) into a sequence of independent linear systems with uniformly bounded condition numbers and leads to $\mathcal{O}(N \operatorname{polylog} N)$ solvers and eigenspace adapted Multiresolution Analysis (resulting in near linear complexity approximation of all eigensubspaces).

研究の動機と目的

• ヒルバート空間およびバナッハ空間における任意の有界線形作用素に対して、普遍的でスケーラブルかつロバストな数値ソルバーを設計する課題に取り組む。
• 作用素や定義域に強い仮定を必要とし、問題固有の構造に依存する従来のソルバーの限界を克服する。
• ゲーム理論的原則を用いてソルバーデザインを自動化し、部分的な情報と限られたリソース下でも最適な性能を保証するフレームワークを開発する。
• H^s_0(Ω)からH^{-s}(Ω)やL^2(Ω)への連続的線形双対写像を含む広いクラスの作用素に対して、線形方程式系および固有値問題の近似的に線形の複雑度による解法を可能にする。

提案手法

• 意思決定者（ソルバー）と情報の不確実性をもつ対戦相（敵対者）の間の2人零和ゲームとして、数値近似を再定式化し、意思決定理論を用いて最適戦略を導出する。
• 最適回復測度を、部分的測定値に条件付けられた中心化されたガウス場として定義し、その共分散構造は作用素のノルムにのみ依存する。
• ギャンブルトを導入する。これは最適ゲーム戦略から導かれる局所化された基底関数であり、作用素の固有部分空間に適合させたもので、ウェーブレットやワニエ関数を一般化する。
• ギャンブルトを用いて解空間の階層的マルチスケール分解を構築し、適応的リファインメントと効率的な計算を可能にする。
• ガウス場の局所化と階層的条件付けを活用し、O(N polylog N)の厳密な複雑度バウンドを持つ高速ギャンブルト変換（FGT）を開発する。
• マルチスケール階層のすべてのレベルで一様に有界な条件数を保証し、線形方程式系のロバストかつスケーラブルな解法を実現する。

実験結果

リサーチクエスチョン

• RQ1 問題固有のチューニングを必要とせず、任意の有界線形作用素に普遍的かつロバストに適用可能なソルバーフレームワークを設計できるか？
• RQ2 部分的情報と限られたリソース下での数値計算を、最適戦略を導出できるゲーム理論的意思決定問題として形式化できるか？
• RQ3 解空間に二次形式ノルムが備わっている場合、線形逆問題における最適回復測度（例：ガウス場）の構造は何か？
• RQ4 ギャンブルトは空間的および周波数的両方の局所化を満たすように構築可能であり、その局所化はどのように厳密に特徴付けられるか？
• RQ5 ギャンブルトフレームワークを用いた線形方程式系の解法における計算複雑度は何か？一般作用素に対し近似的に線形スケーリングを達成できるか？

主な発見

• バナッハ空間における二次形式ノルムを持つ状況で、部分的測定値からの解の回復の最適戦略は、条件付き分布が最適推定器を与える中心化されたガウス場である。
• このガウス場の条件付き分布から導かれるギャンブルトは、ノルムを定義する作用素の固有部分空間に適合したマルチスケール基底を形成する。
• 局所的作用素に対しては、ギャンブルトは指数的空間的および周波数的局所化を示し、効率的な計算と安定した条件付けを可能にする。
• 高速ギャンブルト変換（FGT）は、線形方程式系の解法および固有空間の計算においてO(N polylog N)の複雑度を達成し、一様に有界な条件数を保証する。
• このフレームワークは、H^s_0(Ω)からH^{-s}(Ω)やL^2(Ω)への連続的線形双対写像を含む広いクラスの作用素に適用可能であり、PDEに対する普遍的ソルバーを可能にする。
• 理論的保証に基づき、最悪ケース最適回復によりロバスト性を確保し、作用素の具体的な構造に依存しない精度と安定性の保証が得られる。