[논문 리뷰] Variable Selection Inference for Bayesian Additive Regression Trees

Justin Bleich, Adam Kapelner외 2명|arXiv (Cornell University)|2013. 10. 18.

Gene expression and cancer classification인용 수 3

한 줄 요약

이 논문은 고차원적이고 비선형적인 설정에서 유전자 조절 네트워크 탐색을 위해 베이지안 덧셈 회귀 트리(BART) 내에서 순열 기반 추론 방법을 제안한다. 이는 변수 선택 성능을 향상시키기 위한 것으로, 기존 방법들과 비교해 높은 신호를 가진 예측 변수를 더 잘 복원함을 보여주며, R 패키지 bartMachine을 통해 구현 가능하다.

ABSTRACT

We consider the task of discovering gene regulatory networks, which are defined as sets of genes and the corresponding transcription factors which regulate their expression levels. This can be viewed as a variable selection problem, potentially with high dimensionality. Variable selection is especially challenging in high-dimensional settings, where it is difficult to detect subtle individual effects and interactions between predictors. Bayesian Additive Regression Trees [BART, Ann. Appl. Stat. 4 (2010) 266-298] provides a novel nonparametric alternative to parametric regression approaches, such as the lasso or stepwise regression, especially when the number of relevant predictors is sparse relative to the total number of available predictors and the fundamental relationships are nonlinear. We develop a principled permutation-based inferential approach for determining when the effect of a selected predictor is likely to be real. Going further, we adapt the BART procedure to incorporate informed prior information about variable importance. We present simulations demonstrating that our method compares favorably to existing parametric and nonparametric procedures in a variety of data settings. To demonstrate the potential of our approach in a biological context, we apply it to the task of inferring the gene regulatory network in yeast (Saccharomyces cerevisiae). We find that our BART-based procedure is best able to recover the subset of covariates with the largest signal compared to other variable selection methods. The methods developed in this work are readily available in the R package bartMachine.

연구 동기 및 목표

• 기존의 파라미터 기반 방법(예: lasso)이 미세한 효과와 상호작용을 다루기 어려운 고차원적이고 비선형적인 데이터에서 변수 선택의 과제를 해결하기 위해.
• BART에서 선택된 예측 변수가 실질적인 영향을 가지는지 여부를 체계적인 추론 프레임워크로 평가하기 위해.
• 변수 중요도에 대한 사전 지식을 BART 프레임워크에 통합하여 선택 정확도를 향상시키기 위해.
• 복잡한 고차원 데이터에서 진짜 신호를 복원하는 데서의 성능을 평가하기 위해, 특히 생물학적 맥락에서의 적용을 중심으로.
• 실제 생물학적 데이터를 사용하여 고세균(Saccharomyces cerevisiae)의 유전자 조절 네트워크를 재구성하는 데에서의 유용성을 입증하기 위해.

제안 방법

• 이 방법은 BART에서 개별 예측 변수 효과의 유의미성을 평가하기 위해 순열 기반 추론 접근법을 사용하며, 관측된 효과가 우연에 기인한 것인지 검증한다.
• 도메인 지식을 반영한 변수 중요도에 대한 사전 분포를 통합하여 BART를 확장함으로써 선택 과정을 안내한다.
• 특정 파라미터 형식을 가정하지 않고 복잡한 비선형 관계를 모델링하기 위해 추가 회귀 트리 기반 베이지안 비모수 회귀를 사용한다.
• 변수 중요도는 BART 모델에서 유도된 사후 포함 확률을 통해 추정하며, 유의미성은 순열 검증을 통해 평가한다.
• 이 방법은 R 패키지 bartMachine을 통해 구현되어 고차원 데이터셋에 대한 실용적 응용을 가능하게 한다.
• 다양한 데이터 생성 메커니즘 하에서 기존의 파라미터 및 비모수 대안과의 성능 비교를 위해 시뮬레이션을 실시한다.

실험 결과

연구 질문

• RQ1 고차원적이고 비선형적인 회귀 설정에서 순열 기반 추론 절차는 진짜 효과와 우연의 효과를 신뢰성 있게 구분할 수 있는가?
• RQ2 변수 중요도에 대한 사전 지식을 통합함으로써 BART에서의 변수 선택 정확도는 어떻게 향상되는가?
• RQ3 이러한 BART 기반 방법은 어떤 상황에서 기존의 파라미터 및 비모수 변수 선택 기법보다 뛰어나게 작용하는가?
• RQ4 비선형 상호작용이 존재하는 복잡한 고차원 데이터에서 이 방법은 진짜로 높은 신호를 가진 예측 변수 집합을 얼마나 잘 복원할 수 있는가?
• RQ5 이 방법은 예를 들어 고세균(Saccharomyces cerevisiae)의 알려진 생물학적 조절 네트워크 재구성에 얼마나 효과적인가?

주요 결과

• 제안된 방법은 다양한 데이터 설정에서 기존의 파라미터 및 비모수 변수 선택 절차보다 시뮬레이션 결과에서 뛰어난 성능을 보였다.
• 사전 지식을 통합한 BART 기반 접근법이 고차원 데이터에서 가장 큰 신호를 가진 공변량의 부분집합을 복원하는 데 가장 효과적이었다.
• 순열 기반 추론 프레임워크는 실제 예측 변수 효과를 성공적으로 식별하여 변수 선택에서 임의의 양성 결과(false positives)를 줄였다.
• budding yeast 유전자 조절 네트워크 적용 사례에서, 이 방법은 생물학적으로 관련성이 있는 전사 인자-유전자 상호작용을 복원하는 데 뛰어난 능력을 보였다.
• BART에 사전 지식을 통합함으로써 변수 선택 정확도가 크게 향상되었으며, 동시에 유연성은 유지되었다.
• R 패키지 bartMachine은 유전체학 및 고차원 통계 분야의 연구자들이 활용할 수 있도록 실용적이고 접근성이 높은 구현을 제공한다.