[논문 리뷰] Inference for High-dimensional Maximin Effects in Heterogeneous Regression Models Using a Sampling Approach.

Zijian Guo|arXiv (Cornell University)|2020. 11. 15.

Advanced Statistical Methods and Models참고 문헌 47인용 수 6

한 줄 요약

이 논문은 훈련 집단과 타겟 집단 간 공변량 분포가 다를 수 있는 이종 회귀 모형에서 고차원 최대최소 효과에 대한 신뢰구간을 구축하기 위해 새로운 샘플링 접근법을 제안한다. 비편향 추정기법을 사용한 회귀 공분산 행렬 추정과 릿지형 집합 가중치를 통해, 혼합 분포를 따르는 가중치와 비정규 점근 분포에도 불구하고 통계적 안정성과 추론 타당성을 보장한다.

ABSTRACT

Heterogeneity is an important feature of modern data sets and a central task is to extract information from large-scale and heterogeneous data. In this paper, we consider multiple high-dimensional linear models and adopt the definition of maximin effect (Meinshausen, B{u}hlmann, AoS, 43(4), 1801--1830) to summarize the information contained in this heterogeneous model. We define the maximin effect for a targeted population whose covariate distribution is possibly different from that of the observed data. We further introduce a ridge-type maximin effect to simultaneously account for reward optimality and statistical stability. To identify the high-dimensional maximin effect, we estimate the regression covariance matrix by a debiased estimator and use it to construct the aggregation weights for the maximin effect. A main challenge for statistical inference is that the estimated weights might have a mixture distribution and the resulted maximin effect estimator is not necessarily asymptotic normal. To address this, we devise a novel sampling approach to construct the confidence interval for any linear contrast of high-dimensional maximin effects. The coverage and precision properties of the proposed confidence interval are studied. The proposed method is demonstrated over simulations and a genetic data set on yeast colony growth under different environments.

연구 동기 및 목표

• 훈련 데이터와 타겟 집단 간 공변량 분포가 다를 수 있는 고차원 이종 회귀 모형에서의 통계적 추론 과제를 해결하기 위해.
• 예측 최적성과 통계적 안정성을 균형 잡은 고차원 설정에서의 릿지형 최대최소 효과를 정의하고 추정하기 위해.
• 혼합 분포를 따르는 집합 가중치와 최대최소 효과 추정기의 비점근 정규성에 강건한, 보편적인 신뢰구간 구축 방법을 개발하기 위해.

제안 방법

• 관측된 데이터와는 다를 수 있는 타겟 집단의 공변량 분포를 고려해 최대최소 효과를 정의하기 위해.
• 고차원 설정에서의 편향을 줄이기 위해 비편향 추정기법을 사용해 고차원 회귀 공분산 행렬을 추정하기 위해.
• 최대최소 효과 추정기의 안정성과 최적성을 향상시키기 위해 집합 가중치에 릿지형 정규화를 도입하기 위해.
• 선형 대비의 표본분포를 근사하기 위한 새로운 샘플링 접근법을 제안하여, 유효한 신뢰구간 구축을 가능하게 하기 위해.
• 표본분포를 활용해, 추정된 가중치가 혼합 분포를 따를 경우에도 커버리지와 정밀도를 유지하는 신뢰구간을 구축하기 위해.
• 분포 이동과 비정규 점근 분포 하에서도 성능을 검증하기 위해 시뮬레이션과 환경 변화가 있는 효모 집단 성장 유전 데이터에 적용하기 위해.

실험 결과

연구 질문

• RQ1 타겟 집단의 공변량 분포가 관측된 데이터와 다를 경우, 고차원 회귀 모형에서 최대최소 효과를 신뢰성 있게 추정할 수 있는 방법은 무엇인가?
• RQ2 혼합 분포를 따르는 집합 가중치가 최대최소 효과 추정기의 점근 분포에 미치는 영향은 무엇이며, 이러한 상황에서도 추론을 어떻게 타당하게 만들 수 있는가?
• RQ3 릿지형 정규화는 고차원 설정에서 최대최소 효과 추정기의 안정성과 최적성을 향상시킬 수 있는가?
• RQ4 제안된 샘플링 접근법은 최대최소 효과의 선형 대비에 대한 신뢰구간에서 커버리지와 정밀도 측면에서 어떻게 성능을 발휘하는가?
• RQ5 환경 변화 하에서의 유전 데이터와 같은 실제 고차원 이종 데이터에서 이 방법의 실용적 성능은 어떠한가?

주요 결과

• 제안된 샘플링 접근법은 집합 가중치가 혼합 분포를 따르고 최대최소 효과 추정기가 점근적으로 정규분포를 따르지 않을 경우에도 정확한 커버리지로 신뢰구간을 성공적으로 구축한다.
• 릿지형 최대최소 효과 추정기는 고차원 설정에서 예측 성능와 분산을 균형 잡음으로써 안정성과 최적성이 향상됨을 보여준다.
• 비편향 추정기법을 통한 회귀 공분산 행렬 추정은 고차원 모형에서 신뢰할 수 있는 추론을 가능하게 하여 편향을 효과적으로 줄인다.
• 시뮬레이션 결과는 다양한 고차원 및 이종 상황에서 메서드가 적절한 커버리지 비율과 정밀도를 유지함을 보여준다.
• 효모 유전 데이터 응용 사례에서, 이 방법은 다양한 환경 조건에서 강인한 최대최소 효과를 식별하였으며, 실제 이종 데이터에 대한 실용적 유용성을 입증한다.