[논문 리뷰] Support Recovery and $\ell_2$-Error Bound for Sparse Regression with Quadratic Measurements via Weakly-Convex-Concave Regularization

Jun Fan, Ling Yang외 2명|arXiv (Cornell University)|2026. 02. 19.

Numerical methods in inverse problems인용 수 0

한 줄 요약

본 논문은 이차 측정값이 있는 희소 회귀에 대한 약하게 볼록-오목 규제 추정기의 유한표본 특성을 분석하여 로컬 최적해의 지지 집합 복원 및 ℓ₂ 오차 경계를 증명하고 proximal gradient 알고리즘을 제안한다.

ABSTRACT

The recovery of unknown signals from quadratic measurements finds extensive applications in fields such as phase retrieval, power system state estimation, and unlabeled distance geometry. This paper investigates the finite sample properties of weakly convex--concave regularized estimators in high-dimensional quadratic measurements models. By employing a weakly convex--concave penalized least squares approach, we establish support recovery and $\ell_2$-error bounds for the local minimizer. To solve the corresponding optimization problem, we adopt two proximal gradient strategies, where the proximal step is computed either in closed form or via a weighted $\ell_1$ approximation, depending on the regularization function. Numerical examples demonstrate the efficacy of the proposed method.

연구 동기 및 목표

• 이차 측정값과 함께하는 희소 회귀의 동기 부여 및 응용(위상 회복, 전력계 상태 추정, 거리 기하학).
• 통계적 효율성과 계산적 타당성을 균형 잡기 위해 약하게 볼록-오목 패널티(WCCP) 계열 도입.
• WCCP-정규화 손실의 로컬 최적해에 대한 비점근성 보장(지지 복원 및 ℓ₂ 오차) 수립.
• WCCP 정규화기에 맞춘 수렴 보장을 갖춘 proximal gradient 알고리즘 개발.
• 제안 방법의 희소 위상 회복 시나리오에서의 효과를 보여주는 수치적 증거 제공+

제안 방법

• 약하게 볼록–오목 페널티를 포함한 정규화 최소자승 문제를 형식화: minβ L(β) + Pλ(β).
• 두 가지 proximal gradient 전략 채택; 몇몇 페널티에 대해 proximal 단계가 해석적 닫힌 형태를 가지거나 가중된 ℓ1 근사로 계산됨.
• 최적해의 두 가지 고정점 표현을 사용: proxτPλ(β̂) = β̂ − τ∇L(β̂) 및 가중된 소프트 스레시홀딩 형태.
• 발걸음 크기를 조정하고 수렴을 보장하기 위해 Armijo 선 검색을 구현.
• proximal 맵핑과 재가중 ℓ1 대체를 결합한 반복 스킴(알고리즘 1 및 알고리즘 2) 제안.
• 단조감소 및 고정점 성질을 보장하는 이론적 수렴 결과 제공

실험 결과

연구 질문

• RQ1 WCCP-정규화 추정기가 고차원 이차 측정 모델에서 참 희소 지지 값을 회복할 수 있는가?
• RQ2 WCCP-정규화 목적함수의 로컬 최적해에 대해 어떤 유한표본 ℓ₂ 오차 경계가 확립될 수 있는가?
• RQ3 설계, 규제화, 노이즈에 대한 어떤 조건에서 제안된 알고리즘이 의미 있는 정상점으로 수렴하는가?
• RQ4 희소 이차 회귀에서 WCCP 기반 방법은 통계적으로나 계산적으로 LASSO 및 다른 비볼록 페널티와 비교해 어떤 성능을 보이는가?
• RQ5 알려진 제곱 연결을 가진 희소 위상 회복 및 단일 지수 모델에 대한 시사점은 무엇인가?

주요 결과

• 정리 2는 비점근 보장을 제공한다: 적절한 조건에서 로컬 최적해가 높은 확률로 참 지지 값을 복원하고 n이 커질 때 vanishing하는 ℓ₂ 오차 경계 rₙ를 달성한다.
• 오차 경계 rₙ가 √(ln(1+2n)/n)와 λnρ/√s에 의존하는 일관성을 보이는 오라클 추정기 분석(정리 1).
• 제안된 WCCP 프레임워크는 일반적인 페널티(SCAD, MCP, LOG, EXP, Firm)를 포함하며 유한표본 성능이 우수하다.
• 수렴 보장을 갖춘 두 가지 proximal gradient 알고리즘이 개발되어 WCCP-정규화 추정기의 실용적 계산을 가능하게 한다.
• 수치 실험에서 SCAD 및 MCP가 LASSO 및 다른 베이스라인에 비해 정확도와 계산 효율이 우수하며, 특히 n/d가 1에 가까워질 때 희소 위상 회복에서 강한 성능을 보인다.