[논문 리뷰] Generalized Concomitant Multi-Task Lasso for sparse multimodal regression

Mathurin Massias, Olivier Fercoq외 2명|arXiv (Cornell University)|2017. 05. 27.

Sparse and Compressive Sensing Techniques참고 문헌 4인용 수 12

한 줄 요약

이 논문은 다중 데이터 모odal(예: M/EEG 신호) 간 이방성 잡음 수준과 함께 희소 회귀 계수를 동시에 학습할 수 있는 공동으로 볼록인 추정기인 부드러운 일반화된 동반 다중 작업 Lasso(SBHCL)를 제안한다. 이는 동반 Lasso 설정을 다중 작업 학습과 결합함으로써 이루어지며, 정규화 조정과 무관하게 잡음 수준 추정이 가능하여, 예측 성능, 지원 회복, 다중 모달 뇌영상 데이터에서의 정확한 잡음 공분산 추정 향상에 기여한다.

ABSTRACT

In high dimension, it is customary to consider Lasso-type estimators to enforce sparsity. For standard Lasso theory to hold, the regularization parameter should be proportional to the noise level, yet the latter is generally unknown in practice. A possible remedy is to consider estimators, such as the Concomitant/Scaled Lasso, which jointly optimize over the regression coefficients as well as over the noise level, making the choice of the regularization independent of the noise level. However, when data from different sources are pooled to increase sample size, or when dealing with multimodal datasets, noise levels typically differ and new dedicated estimators are needed. In this work we provide new statistical and computational solutions to deal with such heteroscedastic regression models, with an emphasis on functional brain imaging with combined magneto- and electroencephalographic (M/EEG) signals. Adopting the formulation of Concomitant Lasso-type estimators, we propose a jointly convex formulation to estimate both the regression coefficients and the (square root of the) noise covariance. When our framework is instantiated to de-correlated noise, it leads to an efficient algorithm whose computational cost is not higher than for the Lasso and Concomitant Lasso, while addressing more complex noise structures. Numerical experiments demonstrate that our estimator yields improved prediction and support identification while correctly estimating the noise (square root) covariance. Results on multimodal neuroimaging problems with M/EEG data are also reported.

연구 동기 및 목표

• 고차원 다중 모달 회귀에서 이방성 잡음 문제를 해결하기 위해, 특히 MEG, EEG 등 서로 다른 센서가 다른 잡음 수준을 가지는 뇌영상 분야에서의 도전 과제를 해결한다.
• 잡음 분산에 대한 사전 지식이 없이도 회귀 계수와 잡음 수준을 동시에 추정할 수 있는 희소 회귀 추정기를 개발한다.
• 볼록성과 이중성 갭 검증을 통해 전역 최적성 보장을 유지하면서도, 표준 Lasso와 동일한 계산 효율성을 확보한다.
• M/EEG 병합 기록과 같은 실제 다중 모달 데이터셋에서, 모달리티별 잡음 스케일을 학습함으로써 지원 식별 및 예측 성능 향상을 도모한다.

제안 방법

• 모달리티별 잡음 분산을 고려한 다중 작업 설정으로 확장된 동반 Lasso를 기반으로 하는 공동 볼록 최적화 프레임워크를 제안한다.
• 단일 볼록 문제에서 회귀 계수와 잡음 공분산 행렬의 제곱근을 동시에 추정하기 위해 부드러운 일반화된 동반 설정을 사용한다.
• 수렴 속도를 향상시키기 위해 블록 좌표 강하(BCD)와 안전 스크리닝 규칙 및 강력한 규칙을 적용하여, Lasso와 동일한 계산 비용을 유도한다.
• 각 모달리티(예: 기울기계, 자화계, EEG 전극)가 고유한 잡음 수준을 가지는 다중 작업 구조를 통합함으로써 이질적 잡음의 탄력적 모델링을 가능하게 한다.
• 회귀 계수와 잡음 파라미터에 대한 효율적인 업데이트 규칙을 유도하여, 이중성 갭 검증을 통한 수렴 보장이 가능하도록 한다.
• 센서 유형을 개별 작업으로 모델링함으로써 M/EEG 역문제에 적용하여, 고신호대잡음비(SNR)와 저신호대잡음비 모달리티 간의 적절한 균형을 학습함으로써 정확성과 해석 가능성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 다양한 잡음 수준을 가지는 다중 데이터 모달리티를 다룰 수 있는 공동 볼록 희소 회귀 추정기를 설계할 수 있는가? 이때 Lasso와 동등한 계산 효율성을 유지할 수 있는가?
• RQ2 잡음 수준과 회귀 계수를 동시에 추정함으로써, 고차원 다중 모달 데이터에서 지원 회복 및 예측 정확도는 어떻게 향상되는가?
• RQ3 실제 M/EEG 데이터에서, 특히 센서 유형 간 잡음 수준이 다를 경우, 제안된 추정기는 모달리티별 잡음 표준편차를 얼마나 정확히 추정할 수 있는가?
• RQ4 다양한 센서 유형 간 신호대잡음비가 이질적인 실제 뇌영상 데이터에 적용했을 때, 이 방법은 여전히 강건하고 효율적인가?
• RQ5 이종 환경에서 잡음 수준과 무관하게 정규화 파라미터 λ를 조정할 수 있는가? 이는 다양한 실험 조건에서 하이퍼파rameter 선택을 단순화하는가?

주요 결과

• 모의 데이터에서 정확한 진실값이 알려진 조건에서, SBHCL 추정기는 동질적 잡음 Lasso와 다중 작업 Lasso보다 뛰어난 지원 회복 및 예측 성능을 보였다.
• 실제 M/EEG 데이터에서 모달리티별 잡음 표준편차 추정이 정확히 이루어졌으며, 시행 횟수 증가에 따라 예상과 같이 감소하는 경향(∝1/√t)을 보여, 일관성 검증에 성공했다.
• SBHCL에서 추정한 잡음 수준은 크기적으로 타당하며, 예상되는 스케일링 행동을 보여, 이질적 잡음 구조의 정확한 학습을 확인했다.
• BCD 솔버와 안전 스크리닝 규칙 덕분에 SBHCL의 계산 비용은 표준 Lasso와 유사하게 유지되었다.
• 실제 M/EEG 데이터에서, 고신호대잡음비와 저신호대잡음비 모달리티 간의 적절한 균형을 학습함으로써 일관되고 생물학적으로 타당한 원천 국소화 결과를 도출했다.
• 정규화 파rameter λ는 모달리티 간 잡음 수준 변화에 덜 민감하여, 다양한 실험 조건 및 데이터셋에서의 파라미터 튜닝이 용이해졌다.