[논문 리뷰] Denoising and change point localisation in piecewise-constant high-dimensional regression coefficients

Fan Wang, Oscar Hernán Madrid Padilla외 2명|arXiv (Cornell University)|2021. 10. 27.

Statistical Methods and Inference참고 문헌 36인용 수 5

한 줄 요약

이 논문은 고차원 조각상수 회귀에서 융합 라소 추정기의 새로운 제한 이sovmetry 조건을 제안하며, 제약 조건이 부과된 및 펜alties가 부과된 융합 라소에 대한 추정 오차 경계를 유도한다. 추정 오차는 비제로 계수의 수와 변화점 수의 비율에 따라 라소 또는 융합 라소 속도 중 하나에 의해 지배되며, 더 나은 변화점 국소화를 위해 진단 후 처리 절차를 도입한다.

ABSTRACT

We study the theoretical properties of the fused lasso procedure originally proposed by \cite{tibshirani2005sparsity} in the context of a linear regression model in which the regression coefficient are totally ordered and assumed to be sparse and piecewise constant. Despite its popularity, to the best of our knowledge, estimation error bounds in high-dimensional settings have only been obtained for the simple case in which the design matrix is the identity matrix. We formulate a novel restricted isometry condition on the design matrix that is tailored to the fused lasso estimator and derive estimation bounds for both the constrained version of the fused lasso assuming dense coefficients and for its penalised version. We observe that the estimation error can be dominated by either the lasso or the fused lasso rate, depending on whether the number of non-zero coefficient is larger than the number of piece-wise constant segments. Finally, we devise a post-processing procedure to recover the piecewise-constant pattern of the coefficients. Extensive numerical experiments support our theoretical findings.

연구 동기 및 목표

• 정규화 행렬 이외의 고차원 설정에서 융합 라소의 이론적 오차 경계 부족 문제를 해결하기 위해.
• 표준 요소별 희박성 가정을 완화하기 위해 고차원 회귀 계수를 알려지지 않은 변화점이 있는 조각상수로 모델링하기 위해.
• 회귀 계수에서 정확한 노이즈 제거와 정밀한 변화점 국소화를 동시에 달성하기 위해.
• 융합 라소 추정치로부터 진짜 조각상수 구조를 더 잘 복원하기 위한 후처리 절차 개발하기 위해.
• 융합 라소 추정기 전용으로 조정된 새로운 설계 조건 하에서 이론적 성능 보장을 수립하기 위해.

제안 방법

• 융합 라소 추정기의 고차원 설정에서 특별히 맞춤형으로 설계된 설계 행렬에 대한 새로운 제한 이sovmetry 조건을 수립한다.
• 이 새로운 조건 하에서 제약 조건이 부과된 및 페널티가 부과된 융합 라소의 추정 오차 경계를 도출한다.
• 융합 라소 추정치를 개선하여 진짜 조각상수 계수 구조를 더 잘 복원하는 후처리 알고리즘을 도입한다.
• 라소와 융합 라소 속도 사이의 상충 관계를 분석하여, 지배적인 속도가 비제로 계수 수와 변화점 수의 비율에 따라 달라짐을 보여준다.
• 변화점 국소화 정확도 평가를 위해 하우스도르프 거리 척도를 사용하여 추정된 변화점 집합과 진짜 변화점 집합을 비교한다.
• 밴드 공분산 구조를 가진 가우시안 랜덤 행렬을 대상으로 광범위한 수치 실험을 수행하여 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 일반 설계 행렬 하에서 고차원 조각상수 회귀에서 융합 라소의 최적 추정 오차 속도는 무엇인가?
• RQ2 비제로 계수의 상대적 수와 변화점 수가 추정 오차 속도에 어떤 영향을 미치는가?
• RQ3 후처리 절차는 융합 라소 추정치로부터 진짜 조각상수 구조를 복원하는 데 성능을 향상시킬 수 있는가?
• RQ4 어떤 설계 행렬 조건 하에서 융합 라소는 최적의 노이즈 제거와 변화점 국소화를 달성하는가?
• RQ5 제안된 제한 이sovmetry 조건은 기존의 c-RIP와 비교하여 이론적 보장을 어떻게 개선하는가?

주요 결과

• 비제로 계수의 수가 변화점 수를 초과할 경우 추정 오차는 라소 속도에 의해 지배되며, 그 외의 경우 융합 라소 속도에 의해 지배된다.
• h=10, n/p=0.5, τ=2 조건에서의 시뮬레이션에서, FLMTF 방법은 |S(˜x)−S| = 1.13(0.66)를 달성하여 FL 및 FLMF를 크게 능가했다.
• τ=4일 경우, ITALE 방법은 |S(˜x)−S| = 0.26(1.06)를 기록하여 고노이즈 조건에서 뛰어난 변화점 국소화 성능을 보였다.
• τ=0.5일 경우, FLMTF 방법은 d(S(˜x)|S₀) = 19.75(5.95)를 기록하여 진짜 변화점을 식별하는 데 강력한 성능을 보였다.
• 제안된 후처리 절차는 특히 고노이즈 환경에서 추정된 변화점과 진짜 변화점 사이의 하우스도르프 거리를 크게 감소시켰다.
• 새로운 제한 이sovmetry 조건은 일반 설계 행렬 하에서 융합 라소의 이론적 오차 경계를 가능하게 하여, 항등 행렬의 경우를 초월한다.