[논문 리뷰] Data Integration with High Dimensionality

Xin Gao, Raymond J. Carroll|arXiv (Cornell University)|2016. 10. 03.

Gene expression and cancer classification인용 수 3

한 줄 요약

이 논문은 고차원 데이터 통합을 위한 가짜우도 정보기준을 제안하며, 표본 크기와 함께 증가하는 진짜 예측변수의 수를 고려하여 정보적인 예측변수 객체를 선택한다. 정규성 조건 하에서 선택 일致성을 확립하며, 이차형식에 대한 대칭 이격 경계를 통해 이론적 보장을 제공함으로써 베이지안 정보기준을 무한한 모형 크기로 확장한다.

ABSTRACT

We consider a problem of data integration. Consider determining which genes affect a disease. The genes, which we call predictor objects, can be measured in different experiments on the same individual. We address the question of finding which genes are predictors of disease by any of the experiments. Our formulation is more general. In a given data set, there are a fixed number of responses for each individual, which may include a mix of discrete, binary and continuous variables. There is also a class of predictor objects, which may differ within a subject depending on how the predictor object is measured, i.e., depend on the experiment. The goal is to select which predictor objects affect any of the responses, where the number of such informative predictor objects or features tends to infinity as sample size increases. There are marginal likelihoods for each way the predictor object is measured, i.e., for each experiment. We specify a pseudolikelihood combining the marginal likelihoods, and propose a pseudolikelihood information criterion. Under regularity conditions, we establish selection consistency for the pseudolikelihood information criterion with unbounded true model size, which includes a Bayesian information criterion with appropriate penalty term as a special case. Simulations indicate that data integration improves upon, sometimes dramatically, using only one of the data sources.

연구 동기 및 목표

• 연속형, 이진형, 이산형 등 다양한 반응 유형을 가진 다수의 실험에서 측정된 예측변수 객체(예: 유전자)를 통합하는 데이터 통합 문제를 다루기 위해.
• 진짜 예측변수의 수가 표본 크기와 함께 무한히 증가하는 경우에도 일관된 모형 선택 기준을 개발하기 위해.
• 다양한 실험에서 유도된 마진형 우도를 통합하여 통합된 가짜우도 프레임워크를 통해 공동 추론을 수행하기 위해.
• 일반적인 정규성 조건(모형 오지정 포함) 하에서 제안된 정보기준의 이론적 일관성을 확립하기 위해.
• 기존의 정보기준(예: BIC)을 진짜 모형 크기가 발산하는 설정과 고차원 예측변수 객체가 존재하는 상황으로 확장하기 위해.

제안 방법

• K개의 서로 다른 실험에서 각각 다른 방법으로 동일한 예측변수 객체 집합을 측정한 마진형 우도를 조합하여 가짜우도를 정의한다.
• 무한한 진짜 모형 크기를 다룰 수 있도록 설계된 펜alty 항을 포함한 가짜우도 정보기준을 유도한다.
• 대칭 이격 이론을 적용하여 이차형식에 대한 날카운 상한을 도출함으로써 점근적 카이제곱 근사 대신에 사용한다.
• 모멘트 생성 함수 기법과 적률 유계 조건을 활용하여 가짜우도 점수 및 그 도함수의 편차를 제어한다.
• 보프레니(Bonferroni) 부등식과 농도 불등식을 사용하여 모형 공간 내 모든 모형에 대한 최대 편차를 근사한다.
• 표본 크기가 증가함에 따라 잘못된 모형을 선택할 확률이 0으로 수렴함을 보여줌으로써 일관성을 입증한다. 이는 진짜 예측변수의 수가 n과 함께 증가하는 경우에도 성립한다.

실험 결과

연구 질문

• RQ1 진짜 예측변수의 수가 표본 크기와 함께 증가하는 경우, 가짜우도 기반 정보기준이 모형 선택 일관성을 달성할 수 있는가?
• RQ2 고차원 설정에서 모형 크기가 발산하는 상황에서 일관성을 유지하기 위해 정보기준의 페널티 항은 어떻게 설계되어야 하는가?
• RQ3 점근적 카이제곱 근사가 실패할 경우, 가짜우도 비율 통계량의 꼬리 확률을 근사하기 위해 필요한 이론적 도구는 무엇인가?
• RQ4 단일 데이터 소스를 사용하는 것과 비교할 때, 다수의 실험에 걸친 데이터 통합은 모형 선택 성능을 얼마나 향상시키는가?
• RQ5 모형 오지정가 존재하는 상황에서, 제안된 기준이 어떤 정규성 조건 하에서 진짜 모형을 일관되게 선택하는가?

주요 결과

• 제안된 가짜우도 정보기준은 정규성 조건 하에서 진짜 예측변수의 수가 표본 크기와 함께 증가하는 경우에도 선택 일관성을 확보한다.
• 펜alty 항을 $ \gamma_n = 6w(1+\gamma)\log(p_n) $ 또는 $ \gamma_n = 6w(\log p_n + \log \log p_n) $ 로 선택할 경우, 기준이 일관성이 있음을 입증하였으며, 이는 모형 선택 확률이 1로 수렴함을 의미한다.
• 이차형식에 대한 대칭 이격 경계는 신뢰할 수 없는 점근적 카이제곱 근사 대신에 유한 표본 상한을 제공하는 날카운 꼬리 확률 상한을 제공한다.
• 시뮬레이션 결과에서 단일 소스 분석 대비 성능 향상이 뚜렷하게 나타났으며, 데이터 통합이 모형 선택 정확도를 크게 향상시켰다.
• 이론적 결과는 기존의 베이지안 정보기준을 무한한 모형 크기를 가진 고차원 설정으로 확장하며, 이는 이전 연구에서 제한된 유한한 진짜 모형 크기로만 일반화된 바를 일반화한다.
• 일관성 증명은 농도 불등식과 적률 유계를 활용하여 모든 모형에서 가짜우도 점수 및 그 도함수의 최대 편차를 제어하는 데 의존한다.