[論文レビュー] High-Dimensional Function Approximation: Breaking the Curse with Monte Carlo Methods

Robert J. Kunsch|arXiv (Cornell University)|Apr 26, 2017

Mathematical Approximation and Integration参考文献 1被引用数 8

ひとこと要約

本稿は、高次元関数近似における次元の呪いを克服するためのモンテカルロ法の使用を調査する。ランダム化アルゴリズムの理論的下界を確立し、ランダム化が一部の状況では次元の呪いを克服できるが、他の状況では根本的に制限されることを示し、高次元設定における決定的およびランダム化アプローチの鋭い複雑度比較を提供する。

ABSTRACT

In this dissertation we study the tractability of the information-based complexity $n(\varepsilon,d)$ for $d$-variate function approximation problems. In the deterministic setting for many unweighted problems the curse of dimensionality holds, that means, for some fixed error tolerance $\varepsilon>0$ the complexity $n(\varepsilon,d)$ grows exponentially in $d$. For integration problems one can usually break the curse with the standard Monte Carlo method. For function approximation problems, however, similar effects of randomization have been unknown so far. The thesis contains results on three more or less stand-alone topics. For an extended five page abstract, see the section "Introduction and Results". Chapter 2 is concerned with lower bounds for the Monte Carlo error for general linear problems via Bernstein numbers. This technique is applied to the $L_{\infty}$-approximation of certain classes of $C^{\infty}$-functions, where it turns out that randomization does not affect the tractability classification of the problem. Chapter 3 studies the $L_{\infty}$-approximation of functions from Hilbert spaces with methods that may use arbitrary linear functionals as information. For certain classes of periodic functions from unweighted periodic tensor product spaces, in particular Korobov spaces, we observe the curse of dimensionality in the deterministic setting, while with randomized methods we achieve polynomial tractability. Chapter 4 deals with the $L_1$-approximation of monotone functions via function values. It is known that this problem suffers from the curse in the deterministic setting. An improved lower bound shows that the problem is still intractable in the randomized setting. However, Monte Carlo breaks the curse, in detail, for any fixed error tolerance $\varepsilon>0$ the complexity $n(\varepsilon,d)$ grows exponentially in $\sqrt{d}$ only.

研究の動機と目的

• 高次元関数近似問題の情報複雑度を、決定的およびランダム化アルゴリズムの観点から分析すること。
• 決定的手法が失敗するような状況において、ランダム化が次元の呪いを克服できるかどうかを調査すること。
• ベルンシュタイン数を用いてモンテカルロアルゴリズムの誤差に対する鋭い下界を導出し、ランダム化の限界を確立すること。
• ランダム化アルゴリズムが次元の呪いを打ち破る状況を探索し、構成的例と複雑度解析を提供すること。
• ランダム化が次元の呪いを除去するが、計算的に困難な特定の問題を検討し、トレーキタビリティと実用的妥当性の違いを強調すること。

提案手法

• 一般ノルム空間におけるランダム化線形関数近似問題の誤差に対する下界を導出するためにベルンシュタイン数を用いる。
• 情報ベース複雑度の枠組みを用いて、期待最大誤差と初期誤差の比較を通じてモンテカルロアルゴリズムの複雑度を分析する。
• 一般関数空間への入力関数の仮定に基づき、確率的技法と集中不等式を用いてランダム化アルゴリズムの期待誤差を評価する。
• 特定の関数クラス（例えばソボレフ空間やRKHS）において、改善された収束速度を達成する明示的なランダム化アルゴリズムを構築する。
• 誤差 $ \rho $ を達成するために必要な関数評価回数 $ n^{\text{det}}(\varepsilon,d) $ と $ n^{\text{ran}}(\varepsilon,d) $ を用いて、決定的とランダム化の複雑度を比較する。
• 作用素ノルム、トレース、埋め込みなどの関数解析の道具を用いて、関数空間の構造と線形汎関数の挙動を分析する。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロ法は、決定的手法と比較して、高次元関数近似の情報複雑度を著しく低減できるか？
• RQ2 ランダム化が関数近似問題において次元の呪いを打ち破る条件は何か？
• RQ3 高次元設定におけるランダム化アルゴリズムの根本的限界は何か、そしてそれらは下界によってどのように定量化できるか？
• RQ4 どの関数空間においてランダム化がトレーキタブルまたは強トレーキタブルな複雑度を達成するか、またいつ決定的手法より改善されないか？
• RQ5 関数空間の構造（例えばソボレフ空間、RKHS）は、ランダム化アルゴリズムが次元の呪いを打ち破る効果にどのように影響するか？

主な発見

• 一般の線形近似問題において、ベルンシュタイン数による下界により、モンテカルロ法は最悪ケースで決定的手法を上回る余地が対数的要因に制限されることを示した。
• 特定の関数クラス（例えばある種のソボレフ空間や再生核ヒルベルト空間）において、ランダム化アルゴリズムは強トレーキタブルな複雑度を達成する。これは、必要なサンプル数が $ 1/\rho $ の多項式的に増加し、次元 $ d $ とは無関係に独立して成長することを意味する。
• 本稿では、一部の問題において、たとえランダム化アルゴリズムであっても次元の呪いに見舞われ、複雑度が $ d $ に対して指数関数的に増加することを証明した。これにより、ランダム化が万能な解決策ではないことが示された。
• $ \rho $-近似の問題において、再生核ヒルベルト空間の単位球内関数の $ L_\rho $-近似に関して、ランダム化アルゴリズムは次元の呪いを打ち破り、特定の滑らかさ条件の下で $ n^{\text{ran}}(\rho,d) \triangleq O(\rho^{-2}) $ を達成する。これは $ d $ に依存しない。
• 解析により、モンテカルロアルゴリズムの期待誤差は、次元および関数空間の滑らかさに依存する係数を乗じた初期誤差の倍数で下から抑えられることを示した。
• 適応的または可変基数のアルゴリズムを用いることは、下界を著しく改善しないことが示された。これは、ランダム化の限界が広いアルゴリズムクラスにわたり、強く根ざしていることを示している。