[논문 리뷰] Interaction pursuit in high-dimensional multi-response regression via distance correlation

Yinfei Kong, Daoji Li외 2명|arXiv (Cornell University)|2016. 05. 11.

Statistical Methods and Inference참고 문헌 33인용 수 4

한 줄 요약

이 논문은 거리상관을 사용한 특징 걸러내기 및 선택을 통해 고차원 다중응답 회귀 모델에서 상호작용을 탐색하는 이중단계 상호작용 탐색 방법인 IPDC를 제안한다. 이는 유전성 또는 정규성 가정에 의존하지 않더라도 확실한 걸러내기, 지원 연합 복원, 오라클 부등식을 달성하며, 표본 크기와 함께 증가하는 응답 수가 있는 경우에도 성립한다.

ABSTRACT

Feature interactions can contribute to a large proportion of variation in many prediction models. In the era of big data, the coexistence of high dimensionality in both responses and covariates poses unprecedented challenges in identifying important interactions. In this paper, we suggest a two-stage interaction identification method, called the interaction pursuit via distance correlation (IPDC), in the setting of high-dimensional multi-response interaction models that exploits feature screening applied to transformed variables with distance correlation followed by feature selection. Such a procedure is computationally efficient, generally applicable beyond the heredity assumption, and effective even when the number of responses diverges with the sample size. Under mild regularity conditions, we show that this method enjoys nice theoretical properties including the sure screening property, support union recovery, and oracle inequalities in prediction and estimation for both interactions and main effects. The advantages of our method are supported by several simulation studies and real data analysis.

연구 동기 및 목표

• 응답 수가 증가하는 고차원 다중응답 회귀에서 중요한 특징 상호작용을 식별하는 데 도전하는 것.
• 기존 방법들이 특징의 유전성 또는 공통 정규성과 같은 강력한 가정에 의존하는 한계를 극복하는 것.
• 메인 효과와 상호작용을 동시에 처리할 수 있는 계산적으로 효율적인 모델에 종속되지 않는 방법을 개발하는 것.
• 약한 정규성 조건 하에서 상호작용 및 메인 효과 선택에 대한 이론적 보장을 수립하는 것.

제안 방법

• 상호작용 탐지에서 비선형 의존성에 민감하게 반응하도록 제곱 변환을 적용한 변수를 두 단계 절차에서 거리상관을 사용해 걸러내는 방법을 적용한다.
• 차원 감소를 위해 변환된 예측 변수와 응답 간의 거리상관을 기반으로 한 걸러내기 단계를 사용한다.
• 메인 효과와 상호작용을 모두 추정하기 위해 펜라이징 추정을 사용한 특징 선택 단계를 시행한다.
• 상호작용 탐지에서 비선형 의존성에 대한 민감도를 향상시키기 위해 제곱 변환을 도입한다.
• 이론적 분석은 버니스타인 유형 부등식과 모멘트 조건을 기반으로 추정 오차의 균일한 경계를 유도한다.
• 이 방법은 비정규성에 강인하며, 유전성 가정이 필요하지 않다.

실험 결과

연구 질문

• RQ1 거리상관 기반 걸러내기가 상호작용 탐지에서 비유전성 또는 비정규성 가정 없이 효과적으로 중요한 상호작용을 식별할 수 있는가?
• RQ2 제안된 이중단계 방법이 응답 차원이 증가하는 고차원 설정에서 확실한 걸러내기 성질을 달성하는가?
• RQ3 약한 모멘트 및 尾 조건 하에서 메인 효과와 상호작용의 진짜 지원을 복원할 수 있는가 (지원 연합 복원) ?
• RQ4 제안된 프레임워크 하에서 선택된 모델의 예측 및 추정 오차 경계(오라클 부등식)는 무엇인가?

주요 결과

• IPDC 방법은 확실한 걸러내기 성질을 달성하여, 표본 크기가 증가함에 따라 모든 중요한 상호작용과 메인 효과가 높은 확률로 유지된다.
• 약한 정규성 조건 하에서 지원 연합 복원을 보장하여 진짜로 관련된 메인 효과와 상호작용 집합을 정확히 식별한다.
• 예측 오차 및 추정 오차에 대한 오라클 부등식이 수립되어, 진짜 모델이 알려진 것처럼 거의 동일한 성능을 보인다.
• 이론적 보장은 응답 수 $ q $ 가 표본 크기 $ n $ 와 함께 증가하는 경우에도 $ q o ext{poly}(n) $ 및 $ ext{poly}( ext{log} p) = o(n^{1/3}) $ 조건 하에서 유지된다.
• 시뮬레이션 연구는 비정규성 및 비유전성 설정에서 기존 방법에 비해 상호작용 탐지 성능이 뛰어나다는 것을 확인한다.
• 실제 데이터 분석은 고차원 옴믹스 데이터에서 생물학적으로 관련된 상호작용을 식별하는 데에 이 방법의 실용적 유용성을 보여준다.