[논문 리뷰] Variational Garrote for Sparse Inverse Problems

Kanghun Lee, Hyungjoon Soh외 1명|arXiv (Cornell University)|2026. 03. 13.

Sparse and Compressive Sensing Techniques인용 수 0

한 줄 요약

본 논문은 소리 및 영상 작업에서 희소 역문제에 대해 LASSO와 Variational Garrote (VG)를 비교하고, 잠재 게이트를 통해 지원과 크기를 분리함으로써 강하게 과소정의된 설정에서 VG가 종종 더 낮은 최소 일반화 오차를 달성한다는 사실을 보인다.

ABSTRACT

Sparse regularization plays a central role in solving inverse problems arising from incomplete or corrupted measurements. Different regularizers correspond to different prior assumptions about the structure of the unknown signal, and reconstruction performance depends on how well these priors match the intrinsic sparsity of the data. This work investigates the effect of sparsity priors in inverse problems by comparing conventional L1 regularization with the Variational Garrote (VG), a probabilistic method that approximates L0 sparsity through variational binary gating variables. A unified experimental framework is constructed across multiple reconstruction tasks including signal resampling, signal denoising, and sparse-view computed tomography. To enable consistent comparison across models with different parameterizations, regularization strength is swept across wide ranges and reconstruction behavior is analyzed through train-generalization error curves. Experiments reveal characteristic bias-variance tradeoff patterns across tasks and demonstrate that VG frequently achieves lower minimum generalization error and improved stability in strongly underdetermined regimes where accurate support recovery is critical. These results suggest that sparsity priors closer to spike-and-slab structure can provide advantages when the underlying coefficient distribution is strongly sparse. The study highlights the importance of prior-data alignment in sparse inverse problems and provides empirical insights into the behavior of variational L0-type methods across different information bottlenecks.

연구 동기 및 목표

• 역설계 문제에서 희소 정규화를 촉진하고, 사전이 재구성 품질에 어떤 영향을 미치는지 살펴본다.
• 다양한 전달 연산자와 정보 병목 현상에서 L1 기반(LASSO)과 잠재 게이트 기반(VG) 희소성 사전들을 비교한다.
• 정규화 강도가 학습 오차와 일반화 오차를 어떻게 형성하는지 분석하여 사전과 데이터의 정렬을 평가한다.

제안 방법

• Forward operator A와 변환 도메인 Psi를 갖는 통합 희소 회귀 프레임워크에서 역문제를 형식화한다.
• VG를 사용하여 계수 활성화를 제어하는 잠재 이진 게이트를 도입하고 변분 자유에너지 목적함수를 최적화한다.
• 희소성 하이퍼파라미터(lambda for LASSO, gamma for VG)을 넓은 범위로 스윕하고 학습-일반화 오차 곡선을 통해 비교한다.
• 작업에 따라 변환 도메인 또는 픽셀 도메인에서 재구성하고 일반화 성능을 평가한다.
• 일관된 최적화 설정으로 신호 재샘플링, 신호 잡음 제거, 희소 시야 CT 재구성에 실험을 적용한다.

실험 결과

연구 질문

• RQ1 다른 정보 병목(부분 샘플링, 잡음, 제한 각도) 하에서 재구성 정확도 측면에서 LASSO와 VG는 어떻게 비교되는가?
• RQ2 강하게 과소정의된 영역에서 VG가 LASSO에 비해 더 낮은 최소 일반화 오차를 산출하는가?
• RQ3 사전 선택(Laplace 대 spike-and-slab 유사)이 과정을 전반에 걸쳐 지지 회복 및 재구성 품질에 어떤 영향을 미치는가?
• RQ4 CT 시나리오에서 VG와 LASSO를 사용할 때 영상 재구성의 질적 차이는 무엇인가?

주요 결과

• VG는 특히 강하게 과소정의된 영역에서 여러 작업에서 LASSO보다 더 낮은 최소 일반화 오차를 자주 달성한다.
• 게이트 주도적 지지 변화로 인한 학습 오차의 급격한 전이가 VG에서 나타나며, 이는 더 완만한 LASSO 궤적과 다르다.
• 희소 시야 CT에서 VG는 균질 지역의 대량 재구성 오차를 줄이고 각도 언샘플링에서 더 안정적인 성능을 보인다.
• 기저 계수들이 매우 희소할 때 VG는 안정성과 일반화 성능을 개선하는 경향이 있다.
• 영상 결과는 VG가 LASSO에 비해 경계 선명도를 약간 감소시킬 수 있음을 시사하며, 사전 결합의 잠재 이점을 시사한다.