[論文レビュー] Risk Estimators for Choosing Regularization Parameters in Ill-Posed Problems - Properties and Limitations

Felix Lucka, Katharina Proksch+5 more|arXiv (Cornell University)|Jan 1, 2017

Numerical methods in inverse problems参考文献 36被引用数 1

ひとこと要約

本稿は、不適切に設定された逆問題における正則化パrameter選択の文脈で、Steinの不偏リスク推定値（SURE）およびその変種であるPSUREの統計的信頼性を調査する。特にTikhonov正則化およびスパarsity正則化において、SUREに基づくパrameter選択は、不適切性が高まるにつれて危険に小さい正則化パrameterを導く可能性があり、その結果、不安定な再構成が生じる。一方、不確かさを伴うがより頑健な不一致原理（discrepancy principle）は、依然としてより安定した性能を示す。

ABSTRACT

This paper discusses the properties of certain risk estimators recently proposed to choose regularization parameters in ill-posed problems. A simple approach is Stein's unbiased risk estimator (SURE), which estimates the risk in the data space, while a recent modification (GSURE) estimates the risk in the space of the unknown variable. It seems intuitive that the latter is more appropriate for ill-posed problems, since the properties in the data space do not tell much about the quality of the reconstruction. We provide theoretical studies of both estimators for linear Tikhonov regularization in a finite dimensional setting and estimate the quality of the risk estimators, which also leads to asymptotic convergence results as the dimension of the problem tends to infinity. Unlike previous papers, who studied image processing problems with a very low degree of ill-posedness, we are interested in the behavior of the risk estimators for increasing ill-posedness. Interestingly, our theoretical results indicate that the quality of the GSURE risk can deteriorate asymptotically for ill-posed problems, which is confirmed by a detailed numerical study. The latter shows that in many cases the GSURE estimator leads to extremely small regularization parameters, which obviously cannot stabilize the reconstruction. Similar but less severe issues with respect to robustness also appear for the SURE estimator, which in comparison to the rather conservative discrepancy principle leads to the conclusion that regularization parameter choice based on unbiased risk estimation is not a reliable procedure for ill-posed problems. A similar numerical study for sparsity regularization demonstrates that the same issue appears in nonlinear variational regularization approaches.

研究の動機と目的

• 不適切に設定された問題における正則化パrameter選択の文脈でSUREおよびPSUREの統計的性質を分析すること。
• 不適切性の増大が、リスクに基づくパrameter選択ルールの性能および信頼性に与える影響を調査すること。
• 古典的な不一致原理と比較して、SUREおよびPSUREの頑健性および安定性を評価すること。
• 線形Tikhonov正則化における理論的分析を拡張し、有限次元設定での数値的妥当性を検証すること。
• 特にスパarsity促進手法を含む非線形変分正則化における不偏リスク推定の適用可能性を評価すること。

提案手法

• 有限次元モデルを用いた線形Tikhonov正則化におけるSUREおよびPSUREの理論的分析。
• Kolmogorovの最大不等式およびモーメントバウンドを用いた、問題次元の増大に伴う漸近的収束結果の導出。
• 不適切性が高まるモデル問題における数値実験を通じて、パrameter選択の挙動を評価。
• 頑健性比較のベンチマークとして不一致原理の使用。
• 複数の正則化パrameterにわたる一貫したLASSO解を得るための「一度にすべて」のADMMソルバーの実装。
• ノイズおよび特異値を含む確率過程の上界に関する統計的推定を通じて、リスク推定器の品質を評価。

実験結果

リサーチクエスチョン

• RQ1 不適切性の程度が高まるにつれて、SUREに基づく正則化パrameter選択の性能はどのように劣化するか？
• RQ2 不適切に設定された問題におけるPSUREおよびSUREの真のリスク推定の理論的限界は何か？
• RQ3 安定性および再構成の信頼性という観点から、リスク推定器の品質は不一致原理と比べてどうなるか？
• RQ4 L1正則化のような非線形でスパarsityを促進する正則化において、不偏リスク推定は信頼性を持って適用可能か？
• RQ5 問題次元が無限大に近づく際のSUREおよびPSUREの漸近的挙動は何か？

主な発見

• SUREに基づくパrameter選択は、極めて不適切に設定された問題では、極めて小さな正則化パrameterを導き、不安定かつ劣化した再構成をもたらす。
• 理論的分析により、不適切性が高まるにつれてSUREリスク推定器の品質が漸近的に劣化することが示された。特に高次元設定において顕著である。
• PSUREはSUREと同様のが、やや軽微な頑健性の問題を示すが、依然として不一致原理ほど信頼性が高くない。
• 不一致原理は、保守的であるが、過学習を常に回避し、高次元の不適切性下でも安定した再構成を生成する。
• 数値的実験により、リスクに基づく手法は不適切性が高まる際、再構成の安定化に失敗する一方で、不一致原理は依然として頑健であることが確認された。
• 本研究は、非線形スパarsity正則化への応用を拡張し、L1正則化を用いた変分モデルにおいても、同様の不安定性の問題が継続することを示した。