[論文レビュー] Stein COnsistent Risk Estimator (SCORE) for hard thresholding

Charles‐Alban Deledalle, Gabriel Peyré+1 more|arXiv (Cornell University)|Jan 24, 2013

Numerical methods in inverse problems参考文献 4被引用数 10

ひとこと要約

本稿では、高次元ガウス系列モデルにおけるハードスレッショルドの自由度およびリスクの一貫性推定器として、スティーン一貫性リスク推定器（SCORE）を提案する。ハードスレッショルド作用素の不連続性をガウスカーネルによる平滑化と、バイアス補正済みの発散推定器を組み合わせることで、微分不能なハードスレッショルドに対しても漸近的に一貫性のあるリスク推定を可能にし、大標本における不偏リスク近似を用いた最適スレッショルド選択を実現する。

ABSTRACT

In this work, we construct a risk estimator for hard thresholding which can be used as a basis to solve the difficult task of automatically selecting the threshold. As hard thresholding is not even continuous, Stein's lemma cannot be used to get an unbiased estimator of degrees of freedom, hence of the risk. We prove that under a mild condition, our estimator of the degrees of freedom, although biased, is consistent. Numerical evidence shows that our estimator outperforms another biased risk estimator.

研究の動機と目的

• ハードスレッショルドの不偏リスク推定という課題に取り組むこと。ハードスレッショルドは不連続的であるため、スティーンの補題が適用できない。
• 高次元漸近的条件下（P → ∞）におけるハードスレッショルドの自由度の一貫性推定器を開発すること。
• スパース信号復元問題における最適スレッショルド選択を可能にするリスク推定器を構築すること。
• 信号およびバンド幅に関するやや弱い条件下でも、推定器が確率的および期待値の意味で一貫性を保つようにすること。

提案手法

• ハードスレッショルドをソフトスレッショルドと不連続補正項 D(y,λ) に分解する。
• バンド幅 h のガウスカーネル Gh を用いた畳み込みにより、不連続項 D(y,λ) を平滑化する。
• 平滑化作用素の発散を、畳み込みの発散を用いて推定することで、スティーンの補題の適用を可能にする。
• 自由度推定器の漸近的一貫性を向上させるために、バイアス補正係数 √(σ² + h²)/σ を導入する。
• 平滑化された発散とデータに依存する項を用いた SURE 型基準として、SCORE リスク推定器を構築する。
• P → ∞ のとき 0 に収束するが、P⁻¹h⁻¹ → 0 を満たすバンド幅 h = ŷh(P) を用いることで一貫性を保証する。

実験結果

リサーチクエスチョン

• RQ1 微分不能性があるにもかかわらず、ハードスレッショルドに対して一貫性のある自由度推定器を構築できるか？
• RQ2 次元 P → ∞ のとき、提案された平滑化発散推定器は、真の自由度に確率的に収束するか？
• RQ3 得られたリスク推定器（SCORE）は、ハードスレッショルドの真の予測リスクを一貫して推定できるか？
• RQ4 バンド幅 h の選択が、自由度推定器のバイアスおよび分散にどのように影響するか？
• RQ5 実用的において、SCORE は既存のバイアス付きリスク推定器を上回る性能を示せるか？

主な発見

• 提案された自由度推定器 ŷdf{HT}(Y,λ,h) は、信号およびバンド幅に関するやや弱い条件下で、P → ∞ のとき確率的および期待値の意味で一貫性を示す。
• 正規化された自由度推定器の分散は P → ∞ のとき 0 に収束し、確率的収束を保証する。
• SCORE リスク推定器は漸近的に一貫性を持つ：正規化された期待値が真の予測リスクに収束する。
• 信号ノルムがゆっくりと増加する場合でも、推定器は一貫性を保つ。ただし、‖x₀‖₄ = o(P¹ᐟ²) を満たす必要がある。
• 数値的証拠により、SCORE は以前に提案されたバイアス付きリスク推定器よりもリスク推定の精度が優れていることが示された。
• 推定器は、カーネル平滑化によるバイアス低減とバンド幅スケーリングのバランスによって一貫性を達成している。