[논문 리뷰] Adaptive Lasso and group-Lasso for functional Poisson regression

Stéphane Ivanoff, Franck Picard외 1명|arXiv (Cornell University)|2014. 12. 22.

Bayesian Methods and Mixture Models참고 문헌 45인용 수 28

한 줄 요약

이 논문은 고차원의 카운트 데이터에서 강도 함수를 추정하기 위해 사전 지식 기반의 사전 정의된 사전(dictionary-based) 접근 방식을 사용하여 기능적 푸아송 회귀를 위한 적응형 Lasso 및 그룹-Lasso 절차를 제안한다. 푸아송 모델에 특화된 농도 불등식을 통해 데이터 기반의 페널티 가중치를 유도함으로써, 이론적으로 오라클 의미에서 최적성을 확보하고 시뮬레이션 및 NGS 시퀀싱 데이터에서 뛰어난 경험적 성능을 보여준다.

ABSTRACT

High dimensional Poisson regression has become a standard framework for the analysis of massive counts datasets. In this work we estimate the intensity function of the Poisson regression model by using a dictionary approach, which generalizes the classical basis approach, combined with a Lasso or a group-Lasso procedure. Selection depends on penalty weights that need to be calibrated. Standard methodologies developed in the Gaussian framework can not be directly applied to Poisson models due to heteroscedasticity. Here we provide data-driven weights for the Lasso and the group-Lasso derived from concentration inequalities adapted to the Poisson case. We show that the associated Lasso and group-Lasso procedures are theoretically optimal in the oracle approach. Simulations are used to assess the empirical performance of our procedure, and an original application to the analysis of Next Generation Sequencing data is provided.

연구 동기 및 목표

• 분산 불안정성으로 인해 표준 Lasso 캘리브레이션에 실패하는 이종분산성(heteroscedasticity)이 존재하는 고차원 푸아송 회귀 문제에 대응한다.
• 웨이블릿 및 기저 기반 접근 방식을 일반화하여 희박하고 유연한 강도 함수 추정을 가능하게 하는 사전 지식 기반 프레임워크를 개발한다.
• 푸아송 모델에 대해 이론적으로 타당한 푸아송 특화 농도 불등식을 사용하여 Lasso 및 그룹-Lasso에 대한 데이터 기반 페널티 가중치를 도입한다.
• 일반적인 프레임워크 하에서 Kullback-Leibler 발산과 헬링거 거리에 대한 기능적 불등식을 사용하여 Lasso 및 그룹-Lasso 추정기의 이론적 최적성을 오라클 불등식을 통해 확립한다.
• 시뮬레이션과 다음 세대 시퀀싱(Next Generation Sequencing) 데이터에 대한 응용을 통해 실용적 유용성을 입증한다.

제안 방법

• 강도 함수의 로그를 사전 지식 기반의 사전에 포함된 p개의 알려진 기저 함수의 선형 조합으로 모델링하여, 풍부하고 희박한 표현을 가능하게 한다.
• 이종분산성 문제를 다루기 위해 푸아송 특화 농도 불등식을 통해 유도된 데이터 기반의 적응형 가중치를 갖는 Lasso 및 그룹-Lasso 페널티를 적용한다.
• 특히 웨이블릿 스케일 등 계수들이 스케일 또는 기저 유형 기반으로 그룹화되는 경우에 구조적 희박성(structural sparsity)을 활용하기 위해 그룹-Lasso를 사용한다.
• 기능적 불등식을 사용하여 Kullback-Leibler 발산과 헬링거 거리의 경계를 설정함으로써 Lasso 및 그룹-Lasso 추정기의 오라클 불등식을 도출한다.
• 그룹-Lasso 추정기가 이상적인 오라클 리스크의 일정한 배수 이내의 리스크 경계를 확보함으로써 이론적 최적성을 입증한다.
• Bach(2010)의 보조정리 2를 활용하여 유계 도함수 비율을 갖는 볼록 함수 프레임워크를 통해 Kullback-Leibler 발산과 헬링거 거리 간의 관계를 설정한다.

실험 결과

연구 질문

• RQ1 이종분산성 하에서 푸아송 회귀에 대해 적응형 Lasso 및 그룹-Lasso가 효과적으로 캘리브레이션될 수 있는가?
• RQ2 푸아송 농도 불등식에서 도출된 데이터 기반 페널티 가중치가 최적의 추정 성능을 이끌어내는가?
• RQ3 Lasso/그룹-Lasso를 활용한 사전 지식 기반 프레임워크가 고차원 기능적 푸아송 회귀에서 오라클 유사 성능을 달성할 수 있는가?
• RQ4 그룹-Lasso 절차는 기능 데이터에서 구조적 희박성을 포착하는 데 있어 표준 Lasso보다 우수한가?
• RQ5 제안된 그룹-Lasso 추정기의 이론적 성능 보장(예: 오라클 불등식)은 푸아송 설정에서 어떻게 이루어지는가?

주요 결과

• 제안된 적응형 Lasso 및 그룹-Lasso 절차는 오라클 접근 방식에서 이론적으로 최적성을 확보하며, 그룹-Lasso 추정기는 $ K(f_0, \widehat{f}^{gL}) \leq (1+\varepsilon)\big(K(f_0,f_\beta) + B(\varepsilon,\mu) \frac{\alpha^2 |J(\beta)|}{\kappa_n^2} (\max_k \lambda_k^g)^2 \big) $ 형태의 오라클 불등식을 만족한다.
• 푸아송 농도 불등식에서 도출된 데이터 기반 페널티 가중치는 이종분산성 존재하에서도 Lasso 및 그룹-Lasso 추정기가 이론적으로 최적이 되도록 보장한다.
• 계수들이 스케일 또는 기저 유형 기반으로 그룹화되는 경우, 그룹-Lasso 추정기는 표준 Lasso보다 구조적 희박성을 더 잘 포착한다.
• 시뮬레이션 결과는 제안된 방법이 고전적 임계치 설정 및 분산 안정화 방법보다 경험적으로 뛰어난 성능을 보이며, 특히 낮은 카운트 수준에서 유의미하게 뛰어나다는 것을 확인한다.
• 다음 세대 시퀀싱 데이터에 대한 응용은 이 방법이 실제 고차원 카운트 데이터 분석에서 실용적인 유용성을 지닌다는 것을 보여준다.
• 이론적 경계는 그룹-Lasso 추정기의 리스크가 진짜 강도 함수의 부드러움과 설계 조건에 따라 결정되는 일정한 배수 이내에 있음을 보여주며, 이는 오라클 리스크에 대한 상수 요소에 의존한다.