[論文レビュー] Variational Garrote for Sparse Inverse Problems

Kanghun Lee, Hyungjoon Soh+1 more|arXiv (Cornell University)|Mar 13, 2026

Sparse and Compressive Sensing Techniques被引用数 0

ひとこと要約

この論文は、音響と画像タスクを横断してスパース逆問題に対するLASSOと Variational Garrote (VG) を比較し、強くアンダー決定的な設定でサポートと大きさを潜在ゲートでデカップルすることによりVGが最も低い最小汎化誤差を達成することが多いことを示す。

ABSTRACT

Sparse regularization plays a central role in solving inverse problems arising from incomplete or corrupted measurements. Different regularizers correspond to different prior assumptions about the structure of the unknown signal, and reconstruction performance depends on how well these priors match the intrinsic sparsity of the data. This work investigates the effect of sparsity priors in inverse problems by comparing conventional L1 regularization with the Variational Garrote (VG), a probabilistic method that approximates L0 sparsity through variational binary gating variables. A unified experimental framework is constructed across multiple reconstruction tasks including signal resampling, signal denoising, and sparse-view computed tomography. To enable consistent comparison across models with different parameterizations, regularization strength is swept across wide ranges and reconstruction behavior is analyzed through train-generalization error curves. Experiments reveal characteristic bias-variance tradeoff patterns across tasks and demonstrate that VG frequently achieves lower minimum generalization error and improved stability in strongly underdetermined regimes where accurate support recovery is critical. These results suggest that sparsity priors closer to spike-and-slab structure can provide advantages when the underlying coefficient distribution is strongly sparse. The study highlights the importance of prior-data alignment in sparse inverse problems and provides empirical insights into the behavior of variational L0-type methods across different information bottlenecks.

研究の動機と目的

• 難解な逆問題に対するスパース正則化を動機づけ、事前分布が再構成品質に与える影響を検討する。
• L1ベース（LASSO）と潜在ゲートベース（VG）のスパース性事前分布を、さまざまなフォワード演算子と情報ボトルネックを横断して比較する。
• 正則化強度が学習誤差と汎化誤差をどのように形作るかを分析し、事前–データの整合性を評価する。

提案手法

• フォワード演算子Aと変換ドメインPsiを用いて、統一されたスパース回帰フレームワークで逆問題を定式化する。
• VGを用いて係数活動を制御する潜在的な2値ゲートを導入し、変分自由エネルギー目的関数を最適化する。
• スパース性のハイパーパラメータ（LASSOのlambda、VGのgamma）を広範な範囲でスイープし、学習–汎化誤差曲線で比較する。
• タスクに応じて変換ドメインまたはピクセルドメインで再構成し、汎化性能を評価する。
• 信号リサンプリング、信号デノイズ、スパースビューCT再構成に一貫した最適化設定で実験を適用する。

実験結果

リサーチクエスチョン

• RQ1 LASSOとVGは、サブサンプリング、ノイズ、限定角度などの異なる情報ボトルネック下で再構成精度をどう比較するか。
• RQ2 VGは強くアンダー決定的な領域でLASSOより低い最小汎化誤差を示すか。
• RQ3 事前分布の選択（Laplace対スパイクアンドスラブ様） が、サポート回復と再構成品質にタスク間でどのように影響するか。
• RQ4 CT シナリオでVGとLASSOを用いた場合の画像再構成の定性的な違いは何か。

主な発見

• VGは多くのタスクでLASSOより低い最小汎化誤差を達成することが多く、特に強くアンダー決定的な設定で顕著である。
• ゲート駆動のサポート変化により学習誤差が急峻に変化する一方、LASSOの軌道はより滑らかである。
• スパースビューCTでは、VGは均質領域の大域再構成誤差を低減し、角度アンダサンプリング時にはより安定した性能を示す。
• VGは基底係数が高度にスパースな場合に安定性と汎化を改善する傾向がある。
• 画像化の結果は、VGがLASSOに比べ境界のシャープさをやや低下させる可能性を示唆しており、事前分布を組み合わせることで利益を得られる可能性を示唆する。