[論文レビュー] A Machine Learning Approach to Optimal Tikhonov Regularisation I: Affine Manifolds

Ernesto De Vito, Massimo Fornasier+1 more|arXiv (Cornell University)|Oct 6, 2016

Numerical methods in inverse problems参考文献 7被引用数 3

ひとこと要約

本稿では、解がアフィン多様体上に存在し、ノイズがサブガウスノイズであるという仮定の下、逆問題における最適なチコノフ正則化パラメータを決定するための教師あり機械学習手法を提案する。解の部分空間次元に比例して必要なトレーニング例の数が線形に増加することを証明し、学習されたパラメータおよびそれに対応する解の明示的な誤差バウンドを提供する。

ABSTRACT

Despite a variety of available techniques the issue of the proper regularization parameter choice for inverse problems still remains one of the biggest challenges. The main difficulty lies in constructing a rule, allowing to compute the parameter from given noisy data without relying either on a priori knowledge of the solution or on the noise level. In this paper we propose a novel method based on supervised machine learning to approximate the high-dimensional function, mapping noisy data into a good approximation to the optimal Tikhonov regularization parameter. Our assumptions are that solutions of the inverse problem are statistically distributed in a concentrated manner on (lower-dimensional) linear subspaces and the noise is sub-gaussian. One of the surprising facts is that the number of previously observed examples for the supervised learning of the optimal parameter mapping scales at most linearly with the dimension of the solution subspace. We also provide explicit error bounds on the accuracy of the approximated parameter and the corresponding regularization solution. Even though the results are more of theoretical nature, we present a recipe for the practical implementation of the approach and provide numerical experiments confirming the theoretical results. We also outline interesting directions for future research with some preliminary results, confirming their feasibility.

研究の動機と目的

• 真の解やノイズレベルを事前に知らない状況で、最適なチコノフ正則化パラメータを選択するという、長年の課題に取り組む。
• 高次元の写像（ノイズありデータから最適な正則化パラメータへの写像）を近似するデータ駆動型手法を開発する。
• 解の分布とノイズに関する統計的仮定の下で、学習されたパラメータのサンプル複雑度と精度に関する理論的保証を確立する。
• 計算複雑度の解析と理論的主張の数値的検証を含む、実装のための実用的レシピを提供する。

提案手法

• 逆問題を線形系 $ Y = AX + \eta $ としてモデル化し、$ X \in \mathbb{R}^d $ を解とし、$ \eta $ をサブガウスノイズとする。
• 解が低次元のアフィン部分空間に集中していると仮定することで、次元削減と統計的学習を可能にする。
• 事前に観測されたデータ-解ペアを用いて、教師あり機械学習モデルを訓練し、ノイズありデータ $ Y \in \mathbb{R}^m $ から最適なチコノフパラメータ $ \alpha^* $ への写像を学習する。
• 濃縮不等式とサブガウスノイズの尾部バウンドを用いて、学習されたパラメータおよびそれに対応する正則化解の確率的誤差バウンドを導出する。
• 必要なトレーニング例の数が、解の部分空間の次元に対して線形に増加することを確立する。
• ノイズのサブガウスノルムとサンプルサイズに依存する、学習された解と真の解の $ \ell^2 $-誤差の明示的上界を導出する。

実験結果

リサーチクエスチョン

• RQ1 真の解やノイズレベルにアクセスできない状況でも、機械学習モデルが最適なチコノフ正則化パラメータを効果的に近似できるか？
• RQ2 必要なトレーニング例の数は、解の多様体の内在次元にどのように依存するか？
• RQ3 学習された正則化パラメータおよびそれに対応する正則化解の理論的誤差バウンドは何か？
• RQ4 サブガウスノイズとアフィン部分空間への解の集中という条件下で、提案手法は信頼性のある性能を達成できるか？
• RQ5 提案された学習ベースのパラメータ選択の計算複雑度は何か？ また、標準的な事後則（a posteriori rules）と比較してどうか？

主な発見

• 最適な正則化パラメータを教師あり学習で得るためのトレーニング例の数は、解の部分空間次元に対して線形に増加する。
• 学習された正則化パラメータは、$ \mathcal{O}(\|\eta\|_{\psi_2} \sqrt{d/n}) $ の $ \ell^2 $-誤差バウンドを達成する。ここで $ d $ は部分空間次元、$ n $ はトレーニングサンプル数である。
• サブガウスノイズと解の集中という仮定の下で、学習されたパラメータを用いて得られる正則化解は、高確率で真の解に収束する。
• ノイズのサブガウスノルムとサンプルサイズに依存する、正則化パラメータおよび解の両方に対する明示的な誤差バウンドが導出された。
• 数値実験により理論的予測が確認され、標準的なパラメータ選択ルールと比較して、学習ベース手法が優れた性能を示した。
• 本手法は計算的に実行可能であり、高次元設定でも利用可能な実用的レシピを提供する。複雑度解析により、その有効性が裏付けられている。