[論文レビュー] Multi-Parameter Tikhonov Regularization

Kazufumi Ito, Bangti Jin+1 more|arXiv (Cornell University)|Feb 6, 2011

Numerical methods in inverse problems参考文献 22被引用数 6

ひとこと要約

本稿は、スパarsity やグループ構造などの複雑な解の特徴を捉えるために、複数のペナルティを用いた多パラメータ Tikhonov 正則化の理論的枠組みを構築する。二つのパラメータ選択ルールである不一致原理とバランス原理を提案・分析し、収束速度と事後誤差推定値を示す。数値結果により、画像のぼかし除去とマイクロアレイ解析において、単一パラメータ手法に比べ優れた性能を発揮することが示された。

ABSTRACT

We study multi-parameter Tikhonov regularization, i.e., with multiple penalties. Such models are useful when the sought-for solution exhibits several distinct features simultaneously. Two choice rules, i.e., discrepancy principle and balancing principle, are studied for choosing an appropriate (vector-valued) regularization parameter, and some theoretical results are presented. In particular, the consistency of the discrepancy principle as well as convergence rate are established, and an a posteriori error estimate for the balancing principle is established. Also two fixed point algorithms are proposed for computing the regularization parameter by the latter rule. Numerical results for several nonsmooth multi-parameter models are presented, which show clearly their superior performance over their single-parameter counterparts.

研究の動機と目的

• 複数のペナルティを用いた多パラメータ Tikhonov 正則化の一般的な理論的基盤を確立すること。
• 値関数の性質、特に微分可能性、凹性、漸近的挙動の分析。
• 正則化パラメータ選択のための不一致原理とバランス原理の調査。
• バランス原理に対する収束速度と事後誤差推定値の提供。
• バランス原理に基づく正則化パラメータベクトルを計算するための効率的固定点アルゴリズムの開発。

提案手法

• 正則化パラメータのベクトル $ \boldsymbol{\eta} $ を用いて、関数 $ J_{\boldsymbol{\eta}}(x) = \phi(x,y^\delta) + \boldsymbol{\eta} \cdot \boldsymbol{\psi}(x) $ として多パラメータ Tikhonov 正則化を形式化する。
• 値関数 $ v(\boldsymbol{\eta}) = \min_x J_{\boldsymbol{\eta}}(x) $ を定義し、その主な性質（単調性、凹性、微分可能性）を導出する。
• 不一致原理を適用し、$ \phi(x_{\boldsymbol{\eta}}^\delta, y^\delta) \approx \delta^2 $ を満たす $ \boldsymbol{\eta} $ を選択し、一貫性と収束速度の証明を行う。
• ノイズレベルの知識を必要としないバランス原理を提案し、データ適合項とペナルティ項のバランスを取る事後的ルールとしての役割を果たす。
• 値関数に基づいてバランス原理のための事後誤差推定値を導出する。
• バランス原理下での正則化パラメータベクトルを効率的に計算するための二つの固定点アルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 多パラメータ Tikhonov 正則化の値関数は、その微分可能性と漸近的挙動に関してどのように特徴付けられるか？
• RQ2 不一致原理は多パラメータ正則化において、一貫性と収束速度に関してどのような理論的保証を提供できるか？
• RQ3 バランス原理は、多パラメータ Tikhonov 正則化の文脈で、事後誤差推定に基づいて正当化可能か？
• RQ4 バランス原理に基づく正則化パラメータベクトルを計算するための効率的数値アルゴリズムはどのように設計できるか？
• RQ5 スパarsity やグループ構造といった複雑な解の特徴を捉える際、多パラメータモデルは単一パラメータモデルに比べてどの程度優れているか？

主な発見

• 値関数 $ v(\boldsymbol{\eta}) $ は凹型であり、各成分について連続的微分可能かつ厳密に単調減少であり、パラメータ選択の厳密な解析が可能である。
• 不一致原理は適切なソース条件のもとで一貫しており、収束速度を示すが、正則化パラメータは一意に定まらない。
• バランス原理は事後誤差推定値を提供し、二つの固定点アルゴリズムにより高速収束（5〜10イテレーション内）で効率的な計算が可能である。
• 数値結果により、$ \ell^1 $ と $ \ell^2 $ ペナルティを組み合わせたエラスティック・ネットモデルが、マイクロアレイ解析において単一パラメータの $ \ell^1 $ や $ \ell^2 $ モデルを上回り、誤検出数を減らしてグループ構造を正しく同定している。
• 1% のノイズを含む2次元画像のぼかし除去において、バランス原理で選択されたエラスティック・ネット解は再構成誤差 $ 2.99 \times 10^{-1} $ を達成し、$ \ell^1 $（$ 9.21 \times 10^{-1} $）および $ \ell^2 $（$ 3.42 \times 10^{-1} $）モデルを上回った。
• テスト例において、バランス原理によるパラメータ選択は、誤差の観点で最適選択に極めて近く、相対誤差差分が10%未満に抑えられていた。