[論文レビュー] Hybrid and iteratively reweighted regularization by unbiased predictive risk and weighted GCV

Rosemary A. Renaut, Saeed Vatankhah+1 more|arXiv (Cornell University)|Aug 31, 2015

Numerical methods in inverse problems被引用数 5

ひとこと要約

本稿では、Golub-Kahan双対化を用いて解かれる大規模な不適切に設定された問題に対して、不偏予測リスク推定（UPRE）と重み付き一般化交差検証（GCV）を組み合わせたハイブリッド正則化手法を提案する。本手法は、射影された部分空間における正則化パラメータが、元の問題における最適パラメータを良好に近似することを示しており、不安定なシステムにおいても安定的でエッジを保全する解を得られることを示している。

ABSTRACT

Tikhonov regularization for projected solutions of large-scale ill-posed problems is considered. The Golub-Kahan iterative bidiagonalization is used to project the problem onto a subspace and regularization then applied to find a subspace approximation to the full problem. Determination of the regularization parameter using the method of unbiased predictive risk estimation is considered and contrasted with the generalized cross validation and discrepancy principle techniques. Examining the unbiased predictive risk estimator for the projected problem, it is shown that the obtained regularized parameter provides a good estimate for that to be used for the full problem with the solution found on the projected space. The connection between regularization for full and projected systems for the discrepancy and generalized cross validation estimators is also discussed and an argument for the weight parameter in the weighted generalized cross validation approach is provided. All results are independent of whether systems are over or underdetermined, the latter of which has not been considered in discussions of regularization parameter estimation for projected systems. Numerical simulations for standard one dimensional test problems and two dimensional data for both image restoration and tomographic image reconstruction support the analysis and validate the techniques. The size of the projected problem is found using an extension of a noise revealing function for the projected problem. Furthermore, an iteratively reweighted regularization approach for edge preserving regularization is extended for projected systems, providing stabilization of the solutions of the projected systems with respect to the determination of the size of the projected subspace.

研究の動機と目的

• 大規模な不適切に設定された問題、特に先行研究が限られている不確定なシステムにおける正則化パラメータ選択の課題に対処すること。
• 不偏予測リスク推定を用いて、射影されたシステムと元の全システムの正則化パラメータの理論的かつ数値的関係を確立すること。
• エッジの保全と解の安定性を向上させるために、反復的重み付き正則化を射影されたシステムに拡張すること。
• データ駆動的に最適な射影部分空間のサイズを特定するためのノイズ露わし関数を開発すること。

提案手法

• 大規模な不適切に設定された問題を低次元部分空間に射影するためにGolub-Kahan双対化を用い、計算複雑性を低減する。
• 射影された問題に不偏予測リスク推定（UPRE）を適用し、予測誤差の期待値を最小化する正則化パラメータを決定する。
• UPREを一般化交差検証（GCV）および不一致原理と比較し、射影された問題と全問題のパラメータが一貫していることを示す。
• 理論的に正当化された重みパラメータを有する重み付きGCVアプローチを導入し、パラメータ推定の安定性を向上させる。
• エッジの保全を向上させるために、反復的重み付き正則化を射影されたシステムに拡張する。
• データ特性に基づいて最適な部分空間次元を特定する拡張されたノイズ露わし関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 不適切に設定されたシステムにおいて、射影された問題から得られる正則化パラメータが、全問題のものと信頼性高く近似可能か？
• RQ2 射影されたシステムにおけるパラメータ選択において、不偏予測リスク推定（UPRE）はGCVおよび不一致原理と比べてどのように優れているか？
• RQ3 重み付きGCVアプローチにおける重みパラメータの理論的根拠は何か？
• RQ4 反復的重み付き正則化は、射影されたシステムに効果的に拡張可能で、エッジを保全し解を安定化できるか？
• RQ5 過決定および不確定な両ケースにおいて、ノイズ露わし関数を用いて最適な射影部分空間のサイズをどのようにデータ駆動的に決定できるか？

主な発見

• 射影された問題におけるUPREによる正則化パラメータは、全問題における最適パラメータを良好に近似し、正確な解の回復を保証する。
• 不一致原理およびGCVの両方において、全問題と射影された問題の正則化パラメータの関係が解析的に妥当であることが確認され、不確定なシステムへの適用範囲が拡張された。
• 提案された重み付きGCVアプローチは、理論的に正当化された重みパラメータを含み、パラメータ推定の安定性と正確性を向上させる。
• 1次元および2次元のテスト問題における数値シミュレーションにより、UPREまたは重み付きGCVを用いた射影されたシステムが、全問題正則化と同等の解を得ることを確認した。
• 射影されたシステムに適用された反復的重み付き正則化法は、部分空間次元の変動に対して解を安定化させ、耐障害性を向上させた。
• 拡張されたノイズ露わし関数は、正確性と計算効率のバランスを取って最適な射影部分空間サイズを的確に特定した。