[논문 리뷰] A Likelihood Ratio Framework for High Dimensional Semiparametric Regression

Yang Ning, Tianqi Zhao외 1명|arXiv (Cornell University)|2014. 12. 06.

Statistical Methods and Inference참고 문헌 60인용 수 9

한 줄 요약

이 논문은 비볼록 펜alties, 누락 데이터, 모형 오특함 하에서 정규화 이후 추론이 가능한 고차원 반모수적 회귀를 위한 우도비 프레임워크를 제안한다. 고차수 U-통계량과 방향 우도비를 활용하여, 난이도 높은 데이터 환경에서 비모수적 성분을 추정할 필요 없이 신뢰영역과 검정을 구성함으로써 강건성과 효율성을 확보한다.

ABSTRACT

We propose a likelihood ratio based inferential framework for high dimensional semiparametric generalized linear models. This framework addresses a variety of challenging problems in high dimensional data analysis, including incomplete data, selection bias, and heterogeneous multitask learning. Our work has three main contributions. (i) We develop a regularized statistical chromatography approach to infer the parameter of interest under the proposed semiparametric generalized linear model without the need of estimating the unknown base measure function. (ii) We propose a new framework to construct post-regularization confidence regions and tests for the low dimensional components of high dimensional parameters. Unlike existing post-regularization inferential methods, our approach is based on a novel directional likelihood. In particular, the framework naturally handles generic regularized estimators with nonconvex penalty functions and it can be used to infer least false parameters under misspecified models. (iii) We develop new concentration inequalities and normal approximation results for U-statistics with unbounded kernels, which are of independent interest. We demonstrate the consequences of the general theory by using an example of missing data problem. Extensive simulation studies and real data analysis are provided to illustrate our proposed approach.

연구 동기 및 목표

• 부족한 데이터와 선택 편향이 존재하는 고차원 반모수적 모형에 대해 강건한 추론 프레임워크를 개발하는 것.
• 신호 강도 가정 없이 고차원 모수의 저차원 성분에 대한 정규화 이후 추론을 가능하게 하는 것.
• 비볼록 페널티와 모형 오특함 하에서도 유효한 신뢰영역과 가설검정을 구성하는 것.
• 기저 측도 함수가 작업 간으로 다를 수 있는 다중작업 학습 환경에서의 데이터 이질성 문제를 다루는 것.
• 관심 있는 매개변수를 난이도 높은 비모수적 성분에서 분리하는 새로운 통계적 크로마토그래피 방법을 제공하는 것.

제안 방법

• 순서와 순위 통계량을 사용하여 관심 있는 매개변수 β와 난이도 높은 비모수적 성분 f(·)를 분리하는 정규화된 통계적 크로마토그래피 접근법을 제안한다.
• f(·)를 추정할 필요 없이 순위와 순위 통계량의 k차수 U-통계량을 바탕으로 한 가짜 우도를 구성한다.
• 가설검정을 위한 방향 우도비 통계량과 고차원 환경에서의 신뢰영역을 위한 최대 방향 우도 추정량을 도입한다.
• 고차수 U-통계량 이론을 활용하여 추정량의 점근적 분포를 유도하고, 유계가 아닌 핵심 함수에 대해 농도 부등식을 도출한다.
• 희소 고차원 매개변수를 복원하기 위해 로지스틱 회귀 기반의 비정규화 방법을 적용한다.
• 일반적인 추정량 bβk = argmax ℓk(β) − ∑pλ(βj)을 사용하며, bℓk(α) = ℓk(α, bγk + (bαk − α)bwk)를 통해 방향 우도를 정의한다.

실험 결과

연구 질문

• RQ1 알 수 없는 기저 측도 함수 f(·)를 추정하지 않고도 고차원 반모수적 모형에 대해 우도비 프레임워크를 개발할 수 있는가?
• RQ2 비볼록 페널티를 사용하고 모형 오특함이 존재할 때, 저차원 성분에 대한 정규화 이후 추론을 어떻게 실현할 수 있는가?
• RQ3 누락 데이터와 선택 편향은 표준 정규화 추정량에 어떤 영향을 미치며, 고차원 환경에서 이를 어떻게 교정할 수 있는가?
• RQ4 실제 데이터에서 누락 비율이 증가함에 따라 제안된 프레임워크가 검출력과 타당성을 유지할 수 있는가?
• RQ5 데이터 이질성 하에서 방향 우도비 검정은 와드 유형 검정에 비해 강건성과 검출력 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 우도비 프레임워크는 10%의 누락률(C = 0.1) 조건에서도 모든 방법에서 cg20792833가 난소암과 유의미하게 연관되어 있음을 성공적으로 규명하였다.
• C = 0.1일 때, 완전사례 비정규화 방법(CC-Desparsity)은 어떤 유의미한 락스도 탐지하지 못하여 과도하게 보수적인 성향을 보였다.
• 이mputation 기반 방법(Imp-Desparsity)은 누락에 크게 영향을 받았으며, C = 0.1일 때만 추가 락스를 탐지했지만 일관되게 복원되지 않았다.
• 제안된 방향 우도비 검정(DLRT)은 C = 0.1일 때도 검출력을 유지하며 cg20792833를 탐지하여 중간 수준의 누락에 대해 강건함을 입증하였다.
• C = 0.2일 때 DLRT는 검출력이 떨어져 고도의 누락에 민감한 것으로 나타났지만, 여전히 경쟁 방법들을 능가했다.
• 이론적 결과로는 방향 우도 추정량의 점근적 정규성과 유계가 아닌 핵심 함수를 가진 U-통계량에 대한 농도 부등식이 입증되었으며, 이는 별도의 관심사로도 중요하다.