[論文レビュー] Variable Selection Inference for Bayesian Additive Regression Trees

Justin Bleich, Adam Kapelner+2 more|arXiv (Cornell University)|Oct 18, 2013

Gene expression and cancer classification被引用数 3

ひとこと要約

本稿は、高次元で非線形な設定、特に遺伝子調節ネットワークの同定において、変数選択を改善するため、ベイジアン加法的回帰木（BART）内での置換に基づく推論手法を提案する。本手法は、変数重要度に関する情報のある事前分布を組み込むことでBARTを拡張し、既存の手法と比較して高信号の予測子をより優れた性能で回復することを示している。実装はRパッケージbartMachineで利用可能である。

ABSTRACT

We consider the task of discovering gene regulatory networks, which are defined as sets of genes and the corresponding transcription factors which regulate their expression levels. This can be viewed as a variable selection problem, potentially with high dimensionality. Variable selection is especially challenging in high-dimensional settings, where it is difficult to detect subtle individual effects and interactions between predictors. Bayesian Additive Regression Trees [BART, Ann. Appl. Stat. 4 (2010) 266-298] provides a novel nonparametric alternative to parametric regression approaches, such as the lasso or stepwise regression, especially when the number of relevant predictors is sparse relative to the total number of available predictors and the fundamental relationships are nonlinear. We develop a principled permutation-based inferential approach for determining when the effect of a selected predictor is likely to be real. Going further, we adapt the BART procedure to incorporate informed prior information about variable importance. We present simulations demonstrating that our method compares favorably to existing parametric and nonparametric procedures in a variety of data settings. To demonstrate the potential of our approach in a biological context, we apply it to the task of inferring the gene regulatory network in yeast (Saccharomyces cerevisiae). We find that our BART-based procedure is best able to recover the subset of covariates with the largest signal compared to other variable selection methods. The methods developed in this work are readily available in the R package bartMachine.

研究の動機と目的

• 従来のパラメトリック手法（例：lasso）が微小な効果や相互作用に対して苦労する高次元で非線形なデータにおける変数選択の課題に対処すること。
• BARTで選択された予測子が真に有意な効果を持つか、それとも偶然に起因するものかを判断する整合的な推論フレームワークを構築すること。
• 変数重要度に関するドメイン知識をBARTフレームワークに組み込み、選択の正確性を向上させること。
• 特に生物学的文脈において、複雑な高次元データにおける真の信号を回復する能力を評価すること。
• Saccharomyces cerevisiaeにおける実際の生物学的データを用いて、遺伝子調節ネットワークを再構築する応用の有効性を示すこと。

提案手法

• 本手法は、BARTにおける個々の予測子効果の有意性を評価するため、置換に基づく推論的手法を採用し、観察された効果が偶然に起因する可能性を検証する。
• ドメイン知識を反映した変数重要度に関する情報のある事前分布を統合することで、BARTを拡張する。
• 特定のパラメトリック形式を仮定せずに、複雑な非線形関係をモデル化するため、加法的回帰木によるベイジアン非パラメトリック回帰を用いる。
• 変数重要度は、BARTモデルからの事後包含確率を用いて推定され、有意性は置換検定によって評価される。
• 本手法はRパッケージbartMachineに実装されており、高次元データセットへの実用的応用を可能にしている。
• さまざまなデータ生成メカニズム下でのパラメトリックおよび非パラメトリック手法との性能比較のため、シミュレーションが用いられている。

実験結果

リサーチクエスチョン

• RQ1 置換に基づく推論手順は、高次元で非線形な回帰設定において、真の効果と誤検出（偽陽性）を信頼性高く区別できるか？
• RQ2 変数重要度に関する情報のある事前知識を組み込むことで、BARTにおける変数選択の正確性はどのように向上するか？
• RQ3 本手法は、どのような状況で従来のパラメトリックおよび非パラメトリック変数選択手法を上回るか？
• RQ4 非線形な相互作用を含む複雑な高次元データにおいて、真の高信号予測子の集合をどの程度回復できるか？
• RQ5 本手法は、例えばSaccharomyces cerevisiaeにおける既知の生物学的調節ネットワークをどの程度効果的に再構築できるか？

主な発見

• シミュレーションにおいて、本手法は多様なデータ設定下で、既存のパラメトリックおよび非パラメトリック変数選択手順を上回る性能を示した。
• 情報のある事前分布を組み込んだBARTベースの手法が、高次元データにおける最大の信号を持つ共変量のサブセットを回復するのには最も効果的であった。
• 置換に基づく推論フレームワークは、真の予測子効果を的確に同定し、変数選択における偽陽性を低減した。
• イーストの遺伝子調節ネットワークへの応用において、本手法は生物学的に関連する転写因子–遺伝子相互作用を優れた能力で回復した。
• BARTに事前知識を統合することで、柔軟性を損なわず、変数選択の正確性が顕著に向上した。
• RパッケージbartMachineは、ゲノム研究や高次元統計分野の研究者にとって実用的でアクセスしやすい本手法の実装を提供している。