[논문 리뷰] Selective inference for effect modification via the lasso

Qingyuan Zhao, Dylan S. Small외 1명|arXiv (Cornell University)|2017. 05. 22.

Statistical Methods and Inference참고 문헌 89인용 수 29

한 줄 요약

이 논문은 데이터 기반 모델 선택 이후에 유의미한 치료-공변량 상호작용를 식별하기 위해 라소를 사용하는 이단계 선택적 추론 방법을 제안한다. 부수적 매개변수를 분리하기 위해 로빈슨 변환을 적용하고, 기계학습을 통해 이를 추정함으로써, 선택된 효과 수정자에 대한 渐近적으로 타당한 추론이 가능해지며, 단일 변수 하위군 분석에 비해 거짓 발견률을 낮추면서도 고차원 설정에서 해석 가능성 유지한다.

ABSTRACT

Effect modification occurs when the effect of the treatment on an outcome varies according to the level of other covariates and often has important implications in decision making. When there are tens or hundreds of covariates, it becomes necessary to use the observed data to select a simpler model for effect modification and then make valid statistical inference. We propose a two stage procedure to solve this problem. First, we use Robinson's transformation to decouple the nuisance parameters from the treatment effect of interest and use machine learning algorithms to estimate the nuisance parameters. Next, after plugging in the estimates of the nuisance parameters, we use the Lasso to choose a low-complexity model for effect modification. Compared to a full model consisting of all the covariates, the selected model is much more interpretable. Compared to the univariate subgroup analyses, the selected model greatly reduces the number of false discoveries. We show that the conditional selective inference for the selected model is asymptotically valid given the rate assumptions in classical semiparametric regression. Extensive simulation studies are conducted to verify the asymptotic results and an epidemiological application is used to demonstrate the method.

연구 동기 및 목표

• 수백 개의 공변량이 존재할 때 의미 있는 효과 수정자를 식별하는 데 도전하는 문제를 해결하고, 단일 변수 하위군 분석의 높은 거짓 발견률을 피하기 위해.
• 라소를 사용하여 효과 수정을 위한 저복잡도 모델을 선택한 후에도 타당한 통계적 추론을 가능하게 하는 방법을 개발하기 위해.
• 추정된 부수적 매개변수를 가진 고차원, 반모수적 회귀 설정에서 선택적 추론의 渐近적 타당성을 확보하기 위해.
• 고차원 공변량이 존재하는 상황에서 모델 복잡도를 줄이면서도 설명 가능성과 통계적 신뢰도를 유지하기 위해.

제안 방법

• 치료 효과를 부수적 매개변수에서 분리하기 위해 로빈슨 변환을 적용하여 반모수적 프레임워크 내에서 조건부 평균 치료 효과(CATE)를 추정할 수 있도록 한다.
• 기계학습 알고리즘(예: 랜덤 포레스트, 라소)을 사용하여 비모수적으로 부수적 함수 μy(x)와 μt(x)를 추정한다.
• 추정된 부수적 함수를 변환된 모델에 삽입하고, 라소를 적용하여 상호작용 항에서 희소한 효과 수정자 집합을 선택한다.
• 테일러와 티브시라니(Taylor and Tibshirani, 2015)의 프레임워크를 활용하여 선택된 모델 조건 하에 선택적 추론을 수행하며, 가우시안 노이즈 하에서 라소의 정확한 근사값을 활용한다.
• 잔여항의 편향을 줄이기 위해 크로스피팅을 사용하지만, 시뮬레이션 결과 트리 기반 방법과 함께 사용할 경우 성능이 악화될 수 있음을 확인하였다.
• 부수적 추정기의 수렴 속도에 대한 규칙성 조건 하에, 선택된 효과 수정자에 대한 渐近적으로 타당한 신뢰구간을 유도한다.

실험 결과

연구 질문

• RQ1 고차원 설정에서 데이터 기반 모델 선택 이후에도 효과 수정에 대해 타당한 통계적 추론을 가능하게 하는 방법을 개발할 수 있는가?
• RQ2 라소에 의해 유도된 선택 편향으로 인해 신뢰구간이 왜곡되더라도 선택된 효과 수정자에 대한 신뢰구간이 여전히 타당한가?
• RQ3 부수적 매개변수 추정에 기계학습을 사용할 경우, 선택적 추론의 타당성과 커버리지에 어떤 영향을 미치는가?
• RQ4 단일 변수 하위군 분석에 비해 제안된 방법은 거짓 발견률과 진짜 효과 수정자를 탐지하는 능력 측면에서 어떻게 비교되는가?

주요 결과

• 표준 반모수적 규칙성 조건 하에, 고차원 모델 선택 이후에도 선택된 효과 수정자에 대해 渐近적으로 타당한 선택적 추론을 달성한다.
• 시뮬레이션 연구를 통해, 가중 평균 치료 효과 및 선택된 효과 수정자에 대해 올바른 커버리지 비율을 유지함을 확인하였으며, 거짓 발견률 감소 측면에서 단일 변수 하위군 분석을 능가한다.
• 크로스피팅은 이론적으로 타당하지만, 랜덤 포레스트와 함께 사용할 경우 꼬리 예측의 편향으로 인해 성능이 떨어질 수 있으므로 트리 기반 방법과 함께 구현할 땐 주의가 필요하다.
• 부수적 매개변수가 기계학습을 통해 추정되더라도, 수렴 속도가 요구되는 규칙성 조건을 만족할 경우 방법은 강건함을 유지한다.
• 이론적 근거는 노이즈에 대해 가우시안 가정에 의존하지만, 티안과 테일러(2018)의 랜덤라이즈드 응답 접근법과 같은 확장 기법을 통해 비가우시안 오차로의 확장도 예상된다.