[論文レビュー] Julearn: an easy-to-use library for leakage-free evaluation and inspection of ML models

Sami Hamdan, Shammi More+4 more|arXiv (Cornell University)|Oct 19, 2023

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

Julearn は、ネストドクロスバリデーションと混同要因の回帰を用いて漏れのない評価を強制することで、研究者が機械学習パイプラインの開発を簡素化できるオープンソースの Python ライブラリです。非専門家が過学習やデータ漏洩のリスクを最小限に抑え、一般化可能なモデルを構築・検証・可視化できるようにし、実際の神経画像データを用いた神経科学分野の事例3件でその有効性が実証されています。

ABSTRACT

The fast-paced development of machine learning (ML) methods coupled with its increasing adoption in research poses challenges for researchers without extensive training in ML. In neuroscience, for example, ML can help understand brain-behavior relationships, diagnose diseases, and develop biomarkers using various data sources like magnetic resonance imaging and electroencephalography. The primary objective of ML is to build models that can make accurate predictions on unseen data. Researchers aim to prove the existence of such generalizable models by evaluating performance using techniques such as cross-validation (CV), which uses systematic subsampling to estimate the generalization performance. Choosing a CV scheme and evaluating an ML pipeline can be challenging and, if used improperly, can lead to overestimated results and incorrect interpretations. We created julearn, an open-source Python library, that allow researchers to design and evaluate complex ML pipelines without encountering in common pitfalls. In this manuscript, we present the rationale behind julearn's design, its core features, and showcase three examples of previously-published research projects that can be easily implemented using this novel library. Julearn aims to simplify the entry into the ML world by providing an easy-to-use environment with built in guards against some of the most common ML pitfalls. With its design, unique features and simple interface, it poses as a useful Python-based library for research projects.

研究の動機と目的

• 神経科学分野の研究において、データ漏洩や不適切なクロスバリデーションがモデル性能を楽観的に評価する原因となる問題に対処すること。
• 機械学習の訓練を十分に受けていない分野の専門家が、機械学習パイプラインを設計・検証できる使いやすくアクセスしやすいツールを提供すること。
• ネストドクロスバリデーションや混同要因回帰といった保護機構をライブラリに組み込み、モデル評価における一般的な落とし穴を防ぐこと。
• ADNI や HCP-YA、IXI といった実世界の神経画像データセットを用いて、研究者が一般化可能なモデルを構築・検査できるようにすること。
• 自動化されたハイパーパramータチューニングよりも解釈可能性と制御性を重視し、軽量で透明性の高い AutoML ツールの代替案を提供すること。

提案手法

• ライブラリは scikit-learn と互換性のある推定器インターフェースを実装しており、既存の機械学習ワークフローへのシームレスな統合を可能としている。
• デフォルトでネストドクロスバリデーションを適用し、ハイパーパramータ探索と最終的な性能評価を分離することで、データ漏洩を防止している。
• 神経画像データにおいて特に重要となる、誤った相関関係を除去するための組み込み混同要因回帰モジュールを備えている。
• SVM やランダムフォレスト、GPR、XGBoost など幅広い機械学習モデルをサポートし、一貫した評価インターフェースを提供している。
• 前処理、特徴量選択、モデル学習を1つのチェーンで定義できる、シンプルで高水準な API を提供している。
• 透明性と解釈可能性を重視した設計となっており、ブラックボックスの自動化を避け、ユーザーの制御性と監査可能性を重視している。

Figure 1: Implementation of a simple \ac CV pipeline using julearn (A) in contrast to scikit-learn (B). The julearn pipeline needs only one import, while scikit-learn needs multiple. Furthermore, scikit-learn needs to import the Support Vector Machine differently depending on the problem type, while

実験結果

リサーチクエスチョン

• RQ1 使いやすい機械学習ライブラリは、深く機械学習の知識を持たない研究者にとって、データ漏洩や過学習のリスクを低下させることができるか？
• RQ2 julearn は、過去の神経科学研究で発表された複雑で出版水準の機械学習パイプラインを、どの程度正確に再現・簡素化できるか？
• RQ3 julearn におけるネストドクロスバリデーションは、標準的なクロスバリデーション手法と比較して、一般化性能の推定の信頼性をどの程度向上させるか？
• RQ4 julearn は神経画像データに対して混同要因の回帰を実行しながら、モデルの解釈可能性と性能を維持できるか？
• RQ5 医療分野の研究における使いやすさ、制御性、安全性の観点から、julearn は既存の AutoML ツールや分野特化型の機械学習ライブラリと比較してどの程度優れているか？

主な発見

• Julearn は、ADNI や HCP-YA、IXI といった実際のデータセットを用いて、過去に発表された3件の神経科学研究を最小限のコードで正確に再現し、発表済みの結果を再現可能であることを示した。
• ライブラリがデフォルトでネストドクロスバリデーションを採用していることで、標準的なクロスバリデーション手法と比較して、楽観的な性能推定のリスクが顕著に低減された。
• グローバルシグナルや頭部の動きといった混同要因が、julearn の組み込み混同要因回帰モジュールを用いて効果的に除去され、モデルの頑健性が向上した。
• 単一の直感的な API を用いることで、研究者が複雑な機械学習パイプラインを構築・評価できるようになり、実装ミスの可能性が低減された。
• Julearn の設計により、完全な透明性と監査可能性が確保されており、神経科学分野における再現可能で出版に耐える研究に適していることが分かった。
• ライブラリは神経科学および神経画像分野の早期採用者から採用されており、実際の研究ワークフローにおける使いやすさと実用的価値が裏付けられた。

Figure 2: Example of julearn (A) and scikit-learn (B) training a typical \ac ML pipeline in a \ac CV consistent way. Both use a grid search to find optimal hyperparameters. Note that julearn is able to specify the hyperparameters at the same time as it defines each step. On the other hand, scikit-le