[論文レビュー] Lasso based feature selection for malaria risk exposure prediction

Bienvenue Kouwayè, Noël Fonton+1 more|HAL (Le Centre pour la Communication Scientifique Directe)|Nov 4, 2015

Digital Imaging for Blood Diseases被引用数 4

ひとこと要約

本稿では、二重交差検証とGLM-Lassoを組み合わせた、新規のlassoベースの特徴選択手法LOLO-DCVを提案する。この手法は、マラリア感染リスクの予測に最適な予測子および相互作用を自動で特定することを目的としている。予測精度（AUC 78.76）と安定性に優れ、計算複雑度も低減され、従来のエキスパート主導の手法を上回り、疫学的モデリングにおけるマシン支援意思決定を可能にする。

ABSTRACT

In life sciences, the experts generally use empirical knowledge to recode variables, choose interactions and perform selection by classical approach. The aim of this work is to perform automatic learning algorithm for variables selection which can lead to know if experts can be help in they decision or simply replaced by the machine and improve they knowledge and results. The Lasso method can detect the optimal subset of variables for estimation and prediction under some conditions. In this paper, we propose a novel approach which uses automatically all variables available and all interactions. By a double cross-validation combine with Lasso, we select a best subset of variables and with GLM through a simple cross-validation perform predictions. The algorithm assures the stability and the the consistency of estimators.

研究の動機と目的

• 高次元の環境的および世帯変数を用いて、マラリア感染リスクの予測に適した自動的で安定的かつ一貫性のある特徴選択手法の開発。
• 機械学習が疫学的研究におけるエキスパート主導の変数再編集および相互作用選択を支援または置き換え可能かどうかを評価すること。
• 予測精度およびモデルの安定性という観点から、提案手法LOLO-DCVと古典的バックワード選択法（B-GLM）の性能を比較すること。
• 変数再編集および村レベルの固定効果の導入が、モデルの性能および予測誤差のばらつきに与える影響を評価すること。
• LassoとGLM、および二重交差検証を組み合わせた手法が、相互作用を含む複雑な現実世界の疫学的データに対して実用的であることを示すこと。

提案手法

• 本手法は、L1ノルムを用いて尤度関数にペナルティを課すGLM-Lassoを採用し、一部の回帰係数を0に収縮させることで自動的変数選択を実現する。
• 正則化パrameter λ のチューニングには二重交差検証（LOLO-DCV）を用い、モデルの安定性を確保するとともに過学習を低減する。
• アルゴリズムは元の変数およびそれらのすべての交互作用（p = 136）を探索し、古典的手法が直面する2^136通りのモデル列挙の非現実性を回避する。
• 正則化パスは反復的最適化により計算され、数値的安定性を確保するためラプラス近似およびニュートン・ラプソン法が用いられる。
• 予測性能は交差検証を用いて評価され、評価指標としてdeviance、平均絶対誤差、AUCが用いられる。
• 本手法は村レベルの固定効果を組み込み、交差検証においてレベル別にフォールドを分割することで、データ漏洩を防ぎ、妥当な予測を保証する。

実験結果

リサーチクエスチョン

• RQ1 二重交差検証を用いた自動的lassoベースの手法が、マラリア感染リスクの予測においてエキスパート主導の変数選択を上回ることができるか？
• RQ2 すべての可能な相互作用および元の変数を含めることで、モデルの性能と安定性にどのような影響を与えるか？
• RQ3 変数再編集および村レベルの固定効果の導入が、予測精度および誤差のばらつきに与える影響は何か？
• RQ4 LOLO-DCV手法は、複数回の交差検証の繰り返しにおいて、安定的かつ一貫性のある特徴選択を達成できるか？
• RQ5 機械学習は、マラリア感染リスクモデリングにおける関連予測子の選択に、エキスパート知識への依存を低減できるか？

主な発見

• LOLO-DCV手法はAUC 78.76という最高の予測性能を達成し、基準となるB-GLM手法を顕著に上回った。
• 本手法は高い安定性を示し、交差検証の反復においても最適な特徴サブセットが一貫して維持された。
• 特に分散が大きい地域（Dohinonko）において、予測誤差はB-GLMよりも顕著に低く、ばらつきも少なかった。
• LOLO-DCVはB-GLMが特定した最良の特徴サブセットと一致した一方で、従来無視されていた解釈可能な相互作用も同定した。
• レベル別フォールドを用いた交差検証により、データ漏洩を防止し、妥当な性能推定が可能になった。これは、ランダムサンプリングとは対照的である。
• Lassoと並列化された二重交差検証を活用することで、計算負荷が著しく低減され、高次元特徴選択が現実可能になった。