[논문 리뷰] Handling correlated and repeated measurements with the smoothed multivariate square-root Lasso

Quentin Bertrand, Mathurin Massias외 2명|arXiv (Cornell University)|2019. 02. 07.

Statistical Methods and Inference인용 수 5

한 줄 요약

이 논문은 상관된 비i.i.d. 노이즈 하에서 고차원 다중작업 회귀에서 반복 측정값을 모두 활용하여 지지 집합 식별을 향상시키는 볼록 최적화 방법인 반복을 고려한 라소(Concomitant Lasso with Repetitions, CLaR)를 제안한다. 다변량 제곱근 라소를 핵노름 근사로 부드럽게 함으로써 CLaR는 회귀 계수와 노이즈 공표준편차를 동시에 추정하며, 특히 평균화로 인해 정보가 손실되고 노이즈 모델링이 왜곡되는 M/EEG 데이터에서 작은 표본 크기일 경우 기존 추정기들보다 뛰어난 성능을 보인다.

ABSTRACT

Sparsity promoting norms are frequently used in high dimensional regression. A limitation of such Lasso-type estimators is that the optimal regularization parameter depends on the unknown noise level. Estimators such as the concomitant Lasso address this dependence by jointly estimating the noise level and the regression coefficients. Additionally, in many applications, the data is obtained by averaging multiple measurements: this reduces the noise variance, but it dramatically reduces sample sizes and prevents refined noise modeling. In this work, we propose a concomitant estimator that can cope with complex noise structure by using non-averaged measurements. The resulting optimization problem is convex and amenable, thanks to smoothing theory, to state-of-the-art optimization techniques that leverage the sparsity of the solutions. Practical benefits are demonstrated on toy datasets, realistic simulated data and real neuroimaging data.

연구 동기 및 목표

• 기본 라소 추정기들이 노이즈 수준을 사전에 알고 있어야 하는 한계를 해결하며, 특히 상관된 또는 반복 측정값이 존재하는 고차원 설정에서의 적용을 목표로 한다.
• M/EEG 데이터에서 반복 측정값을 평균화하는 방식이 통계적으로 비효율적임을 해결하여 유용한 정보를 손실하고 노이즈 모델링을 왜곡하는 문제를 해결한다.
• 복잡한 노이즈 구조 하에서 병렬로 회귀 계수와 노이즈 공표준편차를 추정할 수 있는 볼록 최적화 문제로, 효율적으로 풀 수 있는 추정기를 개발한다.
• 평균화 없이 가용한 모든 반복 측정값을 활용함으로써 신경영상 원천 국소화에서 강인한 지지 집합 식별을 가능하게 한다.
• 비i.i.i.d. 노이즈가 존재하는 고차원 다중작업 회귀에 대해 확장 가능하고 오픈소스인 솔루션을 제공하며, 실제 및 시뮬레이션 데이터를 통해 검증한다.

제안 방법

• CLaR를 제안하며, 다변량 제곱근 라소의 부드러운 형태를 통해 회귀 계수와 노이즈 공표준편차 행렬을 동시에 최적화하는 공수 추정기로 활용한다.
• 핵노름에 대해 Moreau-Yosida 부드럽게 적용하여 비연속적이며 비볼록처럼 보이는 문제를 연속적이고 볼록 최적화 문제로 변환함으로써 프록시 블록 좌표강하법에 적합하게 한다.
• 다변량 제곱근 라소의 부분적 부드러움을 적용하여 볼록성을 유지하면서도 프록시 연산자를 통해 효율적인 계산을 가능하게 한다.
• 목적함수를 데이터 적합성(노이즈 공표준편차의 부드러운 핵노름 기반)과 희박성(계수에 대한 ℓ1 펜alties를 통한)을 균형 잡는 최소화 문제로 설정한다.
• 이중성 갭 기반의 안전한 정지 기준을 도입하여 이론적 보장을 갖춘 수렴을 보장하며, 히우리스틱 정지 기준과 성능을 비교한다.
• 희박한 해를 위한 최신 최적화 기법을 활용하여 대규모 신경영상 데이터셋(예: n=102, p=7498, q=76)에 대한 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 평균화된 데이터가 아닌 모든 반복 측정값을 활용하는 공수 추정기는 고차원 다중작업 회귀에서 지지 집합 식별에 도움이 되는가?
• RQ2 핵노름 근사를 통한 다변량 제곱근 라소의 부드러움은 상관된 노이즈 하에서 추정 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ3 반복 수가 제한된 상황에서 CLaR는 SGCL, 다중작업 라소, ℓ2,1-MLE와 같은 기존 추정기들보다 M/EEG 데이터에서 진짜 뇌 원천을 더 잘 식별하는가?
• RQ4 볼록이고 부드러운 최적화 프레임워크는 복잡한 노이즈 구조를 가진 신경영상 데이터를 처리하면서도 이론적 수렴 보장을 유지할 수 있는가?
• RQ5 노이즈 분산이 높고 비정상적인 상황에서 모든 반복 측정값을 사용할 경우 원천 국소화의 강인성에 어떤 영향을 미치는가?

주요 결과

• 56회의 반복이 있는 실제 M/EEG 데이터에서 CLaR는 100%의 시도에서 양측 청각皮질 원천을 성공적으로 식별하였고, ℓ2,1-MLER와 MTL만 일부 시도에서 성공하였다.
• 반복 수가 33으로 감소한 경우에도 CLaR는 강인하게 작동하여 각 청각피질에서 한 개의 원천을 정확히 국소화하였고, 다른 모든 추정기들은 정확한 원천을 식별하지 못했다.
• 71회의 반복이 있는 왼쪽 시각 자극 작업에서는 CLaR와 ℓ2,1-MLER가 오른쪽 대뇌반구의 원천을 정확히 국소화하였고, 다른 방법들은 실패했다.
• 오른쪽 시각 자극에서 31회의 반복만 존재하는 경우 CLaR가 유일하게 왼쪽 대뇌반구의 원천을 정확히 식별하여, 낮은 표본 크기에서 뛰어난 강인성을 입증했다.
• CLaR는 히우리스틱 정지 기준을 초월해 10초 이내에 안전한 수렴을 달성하였고, SGCL는 동일한 이중성 갭 허용오차에 도달하기 위해 10분이 넘게 소요되었다.
• 시뮬레이션 데이터에서 CLaR는 SGCL 및 기타 기준 추정기들보다 지지 집합 복구 성능이 향상되고, 특히 고노이즈 및 상관된 환경에서 더 낮은 가짜 발견 비율을 보였다.