[論文レビュー] Optimal Regularization Parameters for General-Form Tikhonov Regularization

Julianne Chung, Malena I. Español+1 more|arXiv (Cornell University)|Jul 8, 2014

Numerical methods in inverse problems参考文献 12被引用数 8

ひとこと要約

本稿では、トレーニングデータを用いて一般形およびマルチパラメータTikhonov正則化の最適な正則化パラメータを学習ベースで計算する手法を提案する。一般化特異値分解（GSVD）を用いて解をスペクトルフィルタリング問題として定式化することで、フィルタリングされた解と真のデータの平均誤差を最小化し、特に大規模な画像再構成タスクにおいて、一般交差検証（GCV）と同等の性能を達成しつつ、著しく低い計算コストを実現する。

ABSTRACT

In this work we consider the problem of finding optimal regularization parameters for general-form Tikhonov regularization using training data. We formulate the general-form Tikhonov solution as a spectral filtered solution using the generalized singular value decomposition of the matrix of the forward model and a given regularization matrix. Then, we find the optimal regularization parameter by minimizing the average of the errors between the filtered solutions and the true data. We extend the approach to the multi-parameter Tikhonov problem for the case where all the matrices involved are simultaneously diagonalizable. For problems where this is not the case, we describe an approach to compute optimal or near-optimal regularization parameters by using operator approximations for the original problem. Several tests are performed for 1D and 2D examples using different norms on the errors, showing the effectiveness of this approach.

研究の動機と目的

• トレーニングデータを用いた一般形Tikhonov正則化における最適な正則化パラメータの選択のための体系的かつ包括的な手法の開発。
• 正則化行列が同時に対角化可能である場合に、学習手法をマルチパラメータTikhonov正則化に拡張すること。
• 大規模な画像再構成問題において、GCVの計算コストを著しく低減する代替手法の提供。
• トレーニングセット外の多様な画像タイプにおいて、学習されたパラメータのロバストネスの評価。
• GSVDベースのフィルタリングに学習されたパラメータを適用した場合、より少ないトレーニングデータで標準的なSVDベースのフィルタリングを上回る性能を示すことを実証すること。

提案手法

• 前進モデルと正則化行列の一般化特異値分解（GSVD）を用いて、一般形Tikhonov解をスペクトルフィルタリング解として定式化する。
• 最適な正則化パラメータを、トレーニングサンプル全体におけるフィルタリング解と真のデータの平均誤差を最小化するものとして定義する。
• すべての正則化行列が同時に対角化可能であると仮定することで、マルチパラメータTikhonovにアプローチを拡張し、解析的にパラメータを計算可能にする。
• 同時に対角化可能でない場合のため、演算子近似を用いて近似的に最適なパラメータを効率的に計算する。
• 経験的ベイズリスク最小化を用いて、トレーニングデータ上でのパラメータ選択を学習問題として定式化する。
• 各種誤差ノルム（例：L2、MSSIM）を用いて正則化パラメータの評価と最適化を実施する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータとスペクトルフィルタリングを用いて、一般形Tikhonovの最適な正則化パラメータを効率的に計算できるか？
• RQ2 GSVDベースのフィルタリングは、再構成精度とデータ効率の観点で、標準的なSVDベースのフィルタリングに比べてどのように差をつけるか？
• RQ3 1つの学習済み正則化パラメータセットが、トレーニング分布外の多様な画像タイプに対しても有効に機能するか？
• RQ4 特に大規模な画像再構成タスクにおいて、提案手法の計算コストはGCVと比べてどの程度か？
• RQ5 学習されたパラメータを用いたマルチパラメータ正則化は、GCVに比べて再構成品質にどのような影響を与えるか？

主な発見

• GSVDベースのフィルタリング解は、特にトレーニングデータが限られた場合、最適なSVDベースのフィルタリング解よりも優れた再構成精度を達成する。
• 提案手法により得られる正則化パラメータは、GCVによって得られるものと同等の再構成誤差を実現するが、大規模な画像セットでは著しく低い計算コストで実現される。
• 衛星画像から学習された最適パラメータは、非衛星画像（例：細胞、織物、空中写真、カメラマン）の再構成に対しても効果的に機能し、相対的再構成誤差はバリデーションセットの中央値誤差の約2倍程度にとどまる。
• 画像類似度（SSIMおよびノルム差で測定）と再構成品質の間に正の相関関係が見られるが、明確な関係は存在しない。
• 近似演算子とトレーニングデータを用いたアプローチにより、GCVの結果に非常に近い正則化パラメータが得られ、図12のヒストグラム比較で確認された。
• 学習されたパラメータを用いたマルチパラメータTikhonov正則化は、個々の画像に対してGCVを適用するのと比べてコスト効率が高く、リアルタイムまたは高スループットなアプリケーションに特に適している。