[論文レビュー] The regularized tau estimator: A robust and efficient solution to ill-posed linear inverse problems

Marta Martinez-Camara, Michael Muma+3 more|TUbilio (Technical University of Darmstadt)|May 23, 2016

Sparse and Compressive Sensing Techniques参考文献 12被引用数 3

ひとこと要約

本稿では、誤差分布への適応性と $Ø_1$ および $Ø_2$ 正則化による安定性とスパarsityを組み合わせた、不適切な線形逆問題に対してロバストで効率的な解法である正則化された $τ$ 推定器を提案する。非凸最適化フレームワークを用い、局所的最小値の近似を高速に達成する2つのアルゴリズムを導入することで、ガウスノイズ下でほぼ最適な性能を達成するとともに、外れ値に対しても極めて強いロバスト性を示し、特に関数が不適切に条件付けられた問題においても有効である。

ABSTRACT

Linear inverse problems are ubiquitous. Often the measurements do not follow a Gaussian distribution. Additionally, a model matrix with a large condition number can complicate the problem further by making it ill-posed. In this case, the performance of popular estimators may deteriorate significantly. We have developed a new estimator that is both nearly optimal in the presence of Gaussian errors while being also robust against outliers. Furthermore, it obtains meaningful estimates when the problem is ill-posed through the inclusion of $\ell_1$ and $\ell_2$ regularizations. The computation of our estimate involves minimizing a non-convex objective function. Hence, we are not guaranteed to find the global minimum in a reasonable amount of time. Thus, we propose two algorithms that converge to a good local minimum in a reasonable (and adjustable) amount of time, as an approximation of the global minimum. We also analyze how the introduction of the regularization term affects the statistical properties of our estimator. We confirm high robustness against outliers and asymptotic efficiency for Gaussian distributions by deriving measures of robustness such as the influence function, sensitivity curve, bias, asymptotic variance, and mean square error. We verify the theoretical results using numerical experiments and show that the proposed estimator outperforms recently proposed methods, especially for increasing amounts of outlier contamination. Python code for all of the algorithms are available online in the spirit of reproducible research.

研究の動機と目的

• 非ガウス分布のノイズと高い条件数を有する行列を有する不適切な線形逆問題において、従来の最小二乗法やロバスト推定器の限界を克服すること。
• ガウスノイズ下で高い効率性を維持するとともに外れ値に対してロバストである正則化推定器の開発。
• 組み合わせた $Ø_1$ および $Ø_2$ 正則化を通じて、不適切な問題におけるスパarsityと安定性の確保。
• 非凸目的関数の良い局所的最小値に、調整可能な時間内で収束する計算効率の高いアルゴリズムの提供。
• さまざまな誤差分布下での影響関数、バイアス、漸近的分散、平均二乗誤差の理論的分析。

提案手法

• 非凸目的関数に $τ$ 推定器の損失関数と $Ø_1$ および $Ø_2$ 正則化を組み合わせた正則化 $τ$ 推定器の提案。
• $K \to \infty$ の極限において $Ø_1$ ノルムを滑らかに近似する関数 $J_K(x) = x \tanh(Kx)$ を用い、滑らかな正則化を実現。
• 目的関数の2階微分、特に推定値におけるヘッセ行列の解析を用いて、影響関数および漸近的性質を導出。
• 非凸目的関数のグローバル最小値に近づく2つのアルゴリズムを導入し、ユーザーが定めた時間枠内で収束を保証。
• ブロック行列の逆行列技術を用いて、特に $K \to \infty$ の極限における影響関数の漸近的挙動を分析し、スパース解への収束を示した。
• 増加する外れ値の混入と不適切に条件付けられた行列を有する合成データを用いた数値実験により、理論的結果の妥当性を検証。

実験結果

リサーチクエスチョン

• RQ1 正則化された $Ø_1$ および $Ø_2$ が、不適切な逆問題における $τ$ 推定器のロバスト性と効率性に与える影響は何か？
• RQ2 正則化された $τ$ 推定器の影響関数は何か？外れ値による汚染下でどのように振る舞うか？
• RQ3 ガウス分布および重尾分布の誤差分布下で、推定器の漸近的分散および平均二乗誤差は、LS法や他のロバスト推定器と比較してどうなるか？
• RQ4 非凸目的関数の良い局所的最小値に、合理的かつ調整可能な時間内で収束する効率的なアルゴリズムを設計できるか？
• RQ5 外れ値の混入が増加する条件下で、正則化された $τ$ 推定器は最近提案されたロバスト正則化推定器をどの程度上回るか？

主な発見

• 正則化された $τ$ 推定器は、ガウスノイズ下で最小二乗推定器に近い漸近的効率性を達成し、外れ値の混入下では顕著に低い平均二乗誤差を示した。
• 影響関数の分析により、推定器のロバスト性が確認され、データの大きなずれに対しても影響が有界であることが示された。
• ガウスノイズ下では推定器の漸近的分散がCramér-Rao下界に近く、ほぼ最適な効率性を示した。
• 数値実験により、既存のロバスト正則化推定器よりも優れた性能を示した。特に外れ値の混入が増加する状況で顕著であった。
• 提案されたアルゴリズムは、非凸性にもかかわらず、ユーザーが定めた時間枠内で高品質な局所的最小値に収束し、実用的応用が可能であることを示した。
• $K \to \infty$ の極限において、正則化された目的関数のヘッセ行列は、スパース解を促進するブロック対角構造に収束することが確認され、$Ø_1$ 正則化の理論的役割が裏付けられた。