[논문 리뷰] Sparse Wavelet Estimation in Quantile Regression with Multiple Functional Predictors

Dengdeng Yu, Li Zhang외 3명|arXiv (Cornell University)|2017. 06. 07.

Sparse and Compressive Sensing Techniques참고 문헌 46인용 수 3

한 줄 요약

이 논문은 다중 기능 예측 변수가 있는 스칼라 반응 변수를 위한 희소 웨이블릿 기반 분위수 회귀 방법을 제안한다. 이는 희소 그룹 라소 페널티를 사용하여 중요 기능 예측 변수를 동시에 선택하고 그들 간의 공유 구조를 포착한다. 이 방법은 효율적인 국소적 특징 탐지에 웨이블릿 기저 전개를 활용하며, 이차형식 프로그래밍과 ADMM를 통해 추정 문제를 해결하여 이론적으로 최적의 수렴 속도와 예측 오차 경계를 달성하고 시뮬레이션 및 ADHD-200 fMRI 데이터에서 뛰어난 성능을 보인다.

ABSTRACT

In this manuscript, we study quantile regression in partial functional linear model where response is scalar and predictors include both scalars and multiple functions. Wavelet basis are adopted to better approximate functional slopes while effectively detect local features. The sparse group lasso penalty is imposed to select important functional predictors while capture shared information among them. The estimation problem can be reformulated into a standard second-order cone program and then solved by an interior point method. We also give a novel algorithm by using alternating direction method of multipliers (ADMM) which was recently employed by many researchers in solving penalized quantile regression problems. The asymptotic properties such as the convergence rate and prediction error bound have been established. Simulations and a real data from ADHD-200 fMRI data are investigated to show the superiority of our proposed method.

연구 동기 및 목표

• 다중 기능 예측 변수와 스칼라 공변량이 존재하는 상황에서 강건하고 고차원적인 기능 분위수 회귀의 필요성을 해결한다.
• 국소적 기능 특징 탐지와 계산 효율성을 향상시키기 위해 웨이블릿 기저를 통합함으로써 기존 방법의 한계를 극복한다.
• 희소 그룹 라소 페널티를 통해 다중 기능 예측 변수에 걸쳐 변수 선택을 동시에 수행하고 각 예측 변수 내부의 희소성도 확보한다.
• 규칙성 조건 하에 수렴 속도와 예측 오차 경계를 포함한 이론적 보장을 수립한다.
• 실제 ADHD-200 프로젝트의 fMRI 데이터를 통해 이 방법의 효과성을 입증하며, 특히 다양한 분위수 수준에서 관련 뇌 영역(ROIs)을 식별하는 데 초점을 맞춘다.

제안 방법

• 공통 웨이블릿 기저를 사용하여 기능 계수를 표현함으로써 다중 기능 예측 변수 간의 공유 정보를 캡처할 수 있도록 한다.
• 라소와 그룹 라소 페널티를 조합한 희소 그룹 라소 페널티를 포함하는 페널티 분위수 회귀로 추정 문제를 공식화한다.
• 최적화 문제를 내부점 방법으로 해결할 수 있는 표준 이차형식 프로그램으로 재구성한다.
• 고차원 설정에 적합한 확장성을 확보하기 위해 페널티 분위수 회귀 문제를 해결하기 위한 효율적인 ADMM 알고리즘을 개발한다.
• 이론적 분석과 점근적 성질 유도를 위해 분위수 회귀의 체크 함수를 선형화하기 위해 Knight 항등식을 활용한다.
• 희소성, 국소성, 적응성 있는 기능 계수 추정을 달성하기 위해 웨이블릿 임계치 설정과 기저 전개를 활용한다.

실험 결과

연구 질문

• RQ1 웨이블릿 기저 표현은 다중 기능 예측 변수가 있는 분위수 회귀에서 추정 정확도 향상과 국소적 특징 탐지에 기여하는가?
• RQ2 희소 그룹 라소 페널티는 분위수 회귀 프레임워크 내에서 중요한 기능 예측 변수를 효과적으로 선택하면서도 그들 간의 공유 구조를 포착하는가?
• RQ3 규칙성 조건 하에 제안된 추정량의 이론적 수렴 속도와 예측 오차 경계는 무엇인가?
• RQ4 실제 fMRI 데이터에서 기존 방법과 비교해 본다면, 제안된 방법은 변수 선택 및 예측 성능 측면에서 어떻게 다를까?
• RQ5 이 방법은 다양한 분위수 수준에서 ADHD 지수와 관련된 생물학적으로 의미 있는 뇌 영역(ROIs)을 식별할 수 있는가?

주요 결과

• 제안된 방법은 기능 계수 추정량에 대해 최적의 수렴 속도를 달성하며, 이 속도는 진짜 계수 함수의 희소성과 매끄러움에 따라 달라진다.
• 규칙성 조건 하에 예측 오차 경계가 확립되었으며, 이는 추정량이 표본 크기와 웨이블릿 계수의 수에 따라 진짜 계수로 수렴하는 속도에 영향을 받음을 보여준다.
• ADMM 알고리즘이 효율적으로 수렴하며 고차원 기능 데이터(예: fMRI)에 적용 가능한 확장성 있는 계산을 가능하게 한다.
• 시뮬레이션 결과, 이 방법은 희소하고 상관관계가 높은 기능 예측 변수 하에서 경쟁 방법들보다 변수 선택 정확도와 예측 오차 측면에서 뛰어난 성능을 보였다.
• ADHD-200 fMRI 응용에서, 이 방법은 ADHD 심각도와 관련된 중요한 뇌 ROIs(예: 전두엽 및 편측 영역)의 소수의 하위 집합을 성공적으로 식별하였다.
• 희소 그룹 라소 페널티는 전체 ROI 수준의 희소성(전체 ROI 선택)과 ROI 내부의 희소성(유의미한 웨이블릿 계수 선택)을 효과적으로 균형 잡아 성능 향상과 해석 가능성 향상을 도모한다.