[論文レビュー] Q-curve and area rules for choosing heuristic parameter in Tikhonov regularization

Toomas Raus, Uno Hämarik|arXiv (Cornell University)|Sep 6, 2018

Numerical methods in inverse problems参考文献 27被引用数 3

ひとこと要約

本稿では、ノイズレベルが未知である場合のTikhonov正則化におけるヒューリスティックな正則化パrameter選択を改善するため、Qカーブと面積則を提案する。局所的最小値の解析と、修正された不一致と準最適性関数をプロットした新規のQカーブを用い、最大面積多角形により頑健なパrameterを特定する。この手法は、先行するヒューリスティック則を上回り、不一致則や単調誤差則といったノイズレベル依存の手法と同等の性能を達成する。

ABSTRACT

We consider choice of the regularization parameter in Tikhonov method if the noise level of the data is unknown. One of the best rules for the heuristic parameter choice is the quasi-optimality criterion where the parameter is chosen as the global minimizer of the quasi-optimality function. In some problems this rule fails. We prove that one of the local minimizers of the quasi-optimality function is always a good regularization parameter. For choice of the proper local minimizer we propose to construct the Q-curve which is the analogue of the L-curve, but on x-axis we use modified discrepancy instead of discrepancy and on the y-axis the quasi-optimality function instead of the norm of the approximate solution. In area rule we choose for the regularization parameter such local minimizer of the quasi-optimality function for which the area of polygon, connecting on Q-curve this minimum point with certain maximum points, is maximal. We also provide a posteriori error estimates of the approximate solution, which allows to check the reliability of parameter chosen heuristically. Numerical experiments on extensive set of test problems confirm that the proposed rules give much better results than previous heuristic rules. Results of proposed rules are comparable with results of the discrepancy principle and the monotone error rule, if last two rules use the exact noise level.

研究の動機と目的

• データのノイズレベルが不明な場合のTikhonov正則化における正則化パrameter選択の課題に対処すること。
• 準最適性基準などの既存のヒューリスティック則の限界を克服すること、特に特定の不適切な問題では失敗する可能性があること。
• 準最適性関数の局所的最小値から、収束性と安定性を保証するための信頼性のあるパrameter選択法を開発すること。
• 事後誤差推定式を提示し、ヒューリスティックに選ばれたパrameterの信頼性を検証すること。
• Qカーブと面積則の導入により、パrameter選択の精度を向上させ、過去のヒューリスティック則を改善すること。

提案手法

• x軸に修正不一致、y軸に準最適性関数 ψ_Q(α) を用いたLカーブの類似物としてのQカーブを提案する。
• Qカーブ上の特定の最大点と形成される多角形の面積を最大化する局所的最小値として正則化パrameterを選択する面積則を定義する。
• ψ_Q(α) の局所的最小値の集合 L_min を候補パrameterとして用い、少なくとも一つが擬似最適（最小誤差の定数倍以内の誤差を達成）であることを証明する。
• T(α_H, α*) と T1(α_H) を用いて誤差をバウンディングする事後誤差推定式 (20) を導入し、ヒューリスティック解の信頼性を検証可能にする。
• 滑らかでないまたは滑らかな解に対して性能を向上させるために、d_MD(α) の代わりに ψ_QD(α) または d_ME(α) を用いる変種を提案する。
• 文献に登録された包括的なベンチマークテスト問題のセット（[19, 5, 1, 10, 22, 39] を含む）を用いて、規則の実装とテストを実施する。

実験結果

リサーチクエスチョン

• RQ1 ノイズレベルが不明な場合、準最適性関数 ψ_Q(α) の局所的最小値が正則化パrameterの信頼できる候補として機能するか？
• RQ2 Lカーブや従来のヒューリスティック則と比較して、Qカーブをどのように構築すれば ψ_Q(α) の局所的最小値の選択を改善できるか？
• RQ3 Qカーブ上での多角形の面積を最大化する局所的最小値を選択する面積則は、より正確かつ安定した正則化パrameterをもたらすか？
• RQ4 真のノイズレベルが不明な状況下でも、事後誤差推定式を用いてヒューリスティックに選ばれたパrameterの信頼性を検証できるか？
• RQ5 正確なノイズレベルが分かっている場合、提案されたQカーブと面積則は、不一致則や単調誤差則といった既存の規則と比較してどのように性能を発揮するか？

主な発見

• ψ_Q(α) の局所的最小値の集合 L_min に含まれる少なくとも1つの値は、擬似最適である。つまり、その誤差は最小誤差の定数倍の範囲内に収まる。
• Qカーブ上の面積則は、広範なテスト問題セットにおける数値実験で、過去のヒューリスティック則を著しく上回る性能を示した。
• 正確なノイズレベルが分かっている場合、不一致則や単調誤差則と同等の精度を達成した。
• Set 1 では73%のケースで b ≤ 2 および T1(α_H) ≤ 9 の条件が満たされ、パrameter選択の信頼性が裏付けられた。61%のケースで T1(α_H) ≤ 4 が満たされた。
• 本手法は頑健である。準最適性基準が失敗するケースでも、Qカーブ上の面積則は信頼できるパrameterを特定できる。
• 事後誤差推定式 (20) を用いることで、ヒューリスティックパrameterの信頼性を検証可能であり、Set 1 では97%のケースで T1(α_H) ≤ 9 が満たされた。これにより、パrameter選択の信頼性に高い自信が持てる。