[논문 리뷰] Lasso in infinite dimension: application to variable selection in functional multivariate linear regression

Angelina Roche|arXiv (Cornell University)|2018. 01. 01.

Statistical Methods and Inference참고 문헌 72인용 수 5

한 줄 요약

이 논문은 무한차원 예측변수를 가진 다변량 기능선형 회귀에서 변수 선택을 위한 기능 라소 기법을 제안한다. 두 가지 추정 전략—전체 힐버트 공간에서의 그룹 라소와 유한차원 부분공간에서의 그룹 라소—를 제안하며, 고정 설계 또는 랜덤 설계 하에서 오рак루 불등식을 통한 이론적 보장을 제공하고, 계산을 위한 좌표 강하 알고리즘을 제시하며, 시뮬레이션 및 실데이터에서 검증한다.

ABSTRACT

In more and more applications, a quantity of interest may depend on several covariates, with at least one of them infinite-dimensional (e.g. a curve). To select relevant covariate in this context, we propose an adaptation of the Lasso method. The criterion is based on classical Lasso inference under group sparsity (Yuan and Lin, 2006; Lounici et al., 2011). We give properties of the solution in our infinite-dimensional context. A sparsity-oracle inequality is shown and we propose a coordinate-wise descent algorithm, inspired by the glmnet algorithm (Friedman et al., 2007). A numerical study on simulated and experimental datasets illustrates the behavior of the method.

연구 동기 및 목표

• 적어도 하나의 예측변수가 무한차원일 때 다변량 기능선형 모형에서 변수 선택 문제를 해결한다.
• 고차원 또는 무한차원 힐버트 공간에서 기능자료에 적합한 라소 기반 방법을 개발한다.
• 고정 설계 또는 랜덤 설계 설정에서 변수 선택에 대한 이론적 성능 경계(오라클 불등식)를 수립한다.
• 실제 응용에서 기능 라소 해를 추정하기 위한 계산 가능 알고리즘을 제공한다.
• 오존 예측 및 원자력 안전성 응용을 포함한 시뮬레이션 및 실제 데이터 세트에서 방법을 검증한다.

제안 방법

• 응답변수 Y와 힐버트 공간의 곱공간 H = H₁ × ... × Hₚ 내의 예측변수를 가진 다변량 기능선형 모형을 정의하며, 이 중 적어도 하나의 Hⱼ는 무한차원이다.
• 두 가지 추정 방법을 제안한다: (1) 전체 힐버트 공간 H에서의 그룹 라소 최소화, (2) 페널티가 부여된 최소제곱법에 의해 선택된 H의 유한차원 부분공간에서의 그룹 라소 최소화.
• 두 추정 기준 모두에 대해 해를 계산하기 위해 좌표 강하 알고리즘을 사용하여 실용적 구현을 가능하게 한다.
• 고정 설계 및 랜덤 설계 모두에서 예측 위험에 대한 오라클 불등식을 수립하여, 진짜 계수 함수의 희박성에 적응하는 추정기의 성능을 보여준다.
• 집중 불등식과 스펙트럼 노름 제약을 활용하여 경험적 및 인구의 그램 행렬을 제어하여 안정성을 확보한다.
• 베르누이의 부등식을 적용하여 경험적 내적의 기대값에서의 편차를 제한하여, 고확률 경계 유도에 핵심적인 역할을 한다.

실험 결과

연구 질문

• RQ1 라소 방법은 무한차원 예측변수를 가진 다변량 기능선형 모형으로 효과적으로 확장될 수 있는가?
• RQ2 예측변수가 힐버트 공간 내 곡선 또는 함수일 경우 변수 선택은 어떻게 수행할 수 있는가?
• RQ3 고정 설계 또는 랜덤 설계 하에서 기능 라소 추정기의 이론적 보장(예측 오차 경계 등)은 무엇인가?
• RQ4 추정 과정에서 유한차원 부분공간의 선택이 기능 라소의 성능에 어떻게 영향을 미치는가?
• RQ5 고차원 또는 무한차원 설정에서 기능 라소에 대해 효율적인 좌표 강하 알고리즘을 설계하고 구현할 수 있는가?

주요 결과

• 논문은 두 추정 방법 모두에 대해 오라클 불등식을 수립하여, 기능 라소 추정기의 예측 위험이 최적의 위험에 더해진 희박성에 의존하는 항으로 제한됨을 보여준다.
• 이론적 분석은 설계가 랜덤일지라도 희박성 가정 하에서 최적 수렴 속도를 달성함을 확인한다.
• 좌표 강하 알고리즘이 기능 라소 해를 효과적으로 계산하여 실제 데이터 세트에 대한 실용적 적용을 가능하게 한다.
• 페널티가 부여된 최소제곱법에 의해 선택된 유한차원 부분공간은 근사 오차가 통제된 안정적이고 일관된 추정 절차를 제공한다.
• 시뮬레이션 및 실제 데이터(예: 오존 예측, 원자력 안전성)에 대한 수치 실험은 방법이 관련 기능 및 다변량 예측변수를 정확히 식별할 수 있음을 보여준다.
• 이론적 경계는 집중 불등식과 스펙트럼 노름 제어를 통해 도출되었으며, 공분산 연산자의 고유구조와 설계의 복잡성에 명시적인 의존성을 보인다.