[논문 리뷰] Enumerating Multiple Equivalent Lasso Solutions

Yannis Pantazis, Vincenzo Lagani외 1명|arXiv (Cornell University)|2017. 10. 13.

Statistical Methods and Inference참고 문헌 6인용 수 5

한 줄 요약

이 논문은 루트 평균 제곱 오차(RMSE) 허용 오차 내에서 통계적으로 동일한 다수의 라소 솔루션을 나열하는 알고리즘을 제안한다. 이는 고차원, 표본 수가 적은 생물의학 데이터에서 모델 선택의 재현성이 떨어지는 문제를 다루며, 최적 솔루션과 거의 동일한 외부 표본 오차를 가지는 거의 최적의 솔루션이 존재함을 보여주어 모델의 안정성과 재현성을 향상시킨다.

ABSTRACT

Predictive modelling is a data-analysis task common in many scientific fields. However, it is rather unknown that multiple predictive models can be equally well-performing for the same problem. This multiplicity often leads to poor reproducibility when searching for a unique solution in datasets with low number of samples, high dimensional feature space and/or high levels of noise, a common scenario in biology and medicine. The Lasso regression is one of the most powerful and popular regularization methods, yet it also produces a single, sparse solution. In this paper, we show that nearly-optimal Lasso solutions, whose out-of-sample statistical error is practically indistinguishable from the optimal one, exist. We formalize various notions of equivalence between Lasso solutions, and we devise an algorithm to enumerate the ones that are equivalent in a statistical sense: we define a tolerance on the root mean square error (RMSE) which creates a RMSE-equivalent Lasso solution space. Results in both regression and classification tasks reveal that the out-of-sample error due to the RMSE relaxation is within the range of the statistical error due to the sampling size.

연구 동기 및 목표

• 고차원, 표본 수가 적은 생물의학 데이터셋에서 라소 솔루션의 낮은 재현성 문제를 해결하기 위해.
• 루트 평균 제곱 오차(RMSE)에 대한 허용 오차를 사용하여 라소 솔루션 간의 통계적 동등성을 정식화하기 위해.
• 최적 솔루션의 지정된 RMSE 허용 오차 내에 있는 모든 라소 솔루션을 나열하는 알고리즘을 개발하기 위해.
• RMSE 완화에 의한 외부 표본 오차가 표본 수의 유한성에 기인한 통계적 오차의 범위 내에 유지되는지 평가하기 위해.

제안 방법

• 최적 솔루션의 RMSE 허용 오차 내에 있는 RMSE-동일한 라소 솔루션의 집합을 만들기 위해 루트 평균 제곱 오차(RMSE)에 대한 허용 오차 임계값을 정의하기 위해.
• 정의된 RMSE 허용 오차 내에서 외부 표본 예측 오차에 기반해 라소 솔루션 간의 동등성을 정식화하기 위해.
• 지정된 RMSE-동일 솔루션 공간 내에 있는 모든 라소 솔루션을 체계적으로 나열하기 위한 알고리즘을 개발하기 위해.
• RMSE 제약 조건 하에서 솔루션 공간을 효율적으로 탐색하기 위해 좌표 강하와 액티브 세트 전략을 사용하기 위해.
• 통계적 안정성과 오차 한계를 평가하기 위해 회귀 및 분류 작업 모두에서 방법을 검증하기 위해.

실험 결과

연구 질문

• RQ1 최적 솔루션의 지정된 RMSE 허용 오차 내에서 통계적으로 동일한 라소 솔루션은 몇 개인가?
• RQ2 RMSE 임계값을 완화함으로써 고차원, 표본 수가 적은 설정에서 유효한 라소 솔루션의 수가 얼마나 증가하는가?
• RQ3 RMSE-동일한 솔루션의 외부 표본 오차는 유한한 표본 크기에 기인한 통계적 오차와 비교하여 어떻게 되는가?
• RQ4 제안된 나열 방법은 실제 생물의학 데이터셋에서 모델의 재현성을 향상시킬 수 있는가?

주요 결과

• 지정된 RMSE 허용 오차 내에서 최적 솔루션과 통계적으로 구별할 수 없는 다수의 라소 솔루션이 존재한다.
• RMSE 완화에 의한 외부 표본 오차는 표본 수의 유한성에 기인한 통계적 오차의 범위 내에 유지되어, 허용 오차 임계값의 실용성을 검증한다.
• 고차원, 표본 수가 적은 설정에서 RMSE-동일한 솔루션의 수가 크게 증가하여 단일 솔루션 선택의 불안정성을 부각시킨다.
• 제안된 알고리즘이 이러한 동일한 솔루션을 성공적으로 나열하여 단일 희박 모델 선택보다 더 견고한 대안을 제공한다.