[論文レビュー] Stopping criterion for iterative regularization of large-scale ill-posed problems using the Picard parameter

Eitan Levin, Alexander Y. Meltzer|arXiv (Cornell University)|Jul 13, 2017

Numerical methods in inverse problems参考文献 22被引用数 6

ひとこと要約

本稿では、一般化されたピカードパラメータを用いて、大規模な不適切に設定された問題に対するKrylov部分空間反復正則化のための新規な停止基準を提案する。周波数領域における双曲的または楕円的順序付けに基づくDFT係数のフィルタリングと、再構成されたデータとフィルタリングされたデータの距離を最小化することで、L曲線、NCP、W-GCVといった最先端の基準よりも優れた精度と頑健性を達成する。特にノイズが多い大規模な設定において顕著である。

ABSTRACT

We propose a new stopping criterion for Krylov subspace iterative regularization of large-scale ill-posed inverse problems. Our stopping criterion accurately filters the data using a generalization of the Picard parameter that was originally introduced for direct regularization of small-scale problems. In the one dimension we filter the data in the discrete Fourier transform (DFT) basis using the Picard parameter, which separates noise-dominated Fourier coefficients from the signal-dominated ones. For two-dimensional problems we propose a novel vectorization scheme of the Fourier coefficients of the data based on the Kronecker product structure of the two-dimensional DFT matrix, which effectively reduces the problem to one dimension. At each iteration we compute the distance between the data reconstructed from the iterated solution and the filtered data, terminating the iterations once this distance begins to increase or to level off. The accuracy and robustness of the proposed method is demonstrated by several numerical examples and a MATLAB-based implementation is provided.

研究の動機と目的

• 大規模な不適切に設定された問題におけるKrylov部分空間正則化の最適な停止反復回数の選択という課題に取り組む。
• L曲線、GCV、不確実性原理といった既存の停止ルールの限界を克服する。これらは精度に欠け、ノイズに敏感、またはノイズレベルの事前知識を必要とする。
• 元来小規模な問題に用いられていたピカードパラメータを、2次元DFT行列のクリロネッカー積構造に基づくベクトル化DFTベースのフィルタリング手法を用いて大規模問題に一般化する。
• ノイズの混入した係数行列に依存しない、頑健でデータ駆動型の停止基準を開発する。
• 画像の復元や機械学習の応用を含む多様な数値例において、最先端の手法を上回る性能を実証する。

提案手法

• 2次元DFT行列のクリロネッカー積構造に基づくベクトル化スキームを用いて、ピカードパラメータを大規模問題に一般化する。
• 周波数領域における双曲的または楕円的パターンを用いてDFT係数を順序付け、2次元問題を1次元のフィルタリング問題に再定式化する。
• Golub-Kahanバイディアゴナリゼーション（GKB）の各反復において、現在の反復 $Ax^{(k)}$ から再構成されたデータと、フィルタリングされたデータ $\widehat{b}$ の間の距離を計算する。
• この距離が増加し始める、または平準化し始めると、ノイズが増幅されていると判断して反復を停止する。
• フィルタリングプロセスにより、信号支配の係数とノイズ支配の係数が分離され、ピカードパラメータ $k_0$ がカットオフを決定する。
• 係数行列へのノイズの影響を避けるために、本手法はデータベクトルのみに作用するため、投影された問題においてGCVやL曲線よりも信頼性が高い。

実験結果

リサーチクエスチョン

• RQ1 ピカードパラメータは、大規模な不適切に設定された問題に効果的に一般化可能であり、反復正則化の停止を導くことができるか？
• RQ2 DFT係数の順序付けの選択—双曲的と楕円的—が停止基準の性能に与える影響は何か？
• RQ3 提案されたデータフィルタリング（DF）手法は、L曲線、NCP、W-GCVといった既存の停止ルールを精度と頑健性の面で上回るか？
• RQ4 ノイズレベルが不明または著しく変動する状況でも、この手法はどの程度有効に機能するか？
• RQ5 残差ノルムに明確な最小値が見られない場合でも、DF手法は最適な停止反復回数を信頼性高く検出できるか？

主な発見

• 双曲的順序付けを用いたDF手法は、人工衛星、ぼかし、テキストの復元を含む、すべてのテスト問題でL曲線、NCP、W-GCVと同等以上に優れた性能を示した。
• テストケースの90％で、DF手法（双曲的順序付け）は最小二乗偏差（MSD）が最小であり、中央値のMSD値も他の手法と比べて顕著に低かった。
• α = 10^{-4} のText2問題では、距離関数に最小値や変曲点が存在しないため、楕円的順序付けでは有効な停止点が得られなかったが、双曲的順序付けでは成功した。
• 投影されたチホノフ問題とPLS問題の最適解のMSD値はほぼ同一であり、正則化フレームワークを越えて本手法の一貫性が確認された。
• ノイズレベル（α = 10^{-2}, 10^{-4}, 10^{-6}）の変動に対しても本手法は頑健であり、ノイズが減少するにつれて性能の劣化が最小限に抑えられた。
• MATLABで実装可能であり、実用的応用と再現性を支援する。画像の復元や機械学習分野における実世界応用を支援する。