[論文レビュー] Data-driven Advice for Applying Machine Learning to Bioinformatics Problems

Randal S. Olson, William La Cava+3 more|arXiv (Cornell University)|Aug 8, 2017

Machine Learning and Data Classification被引用数 8

ひとこと要約

本論文は、165の標準化された分類データセットを用いて13の最先端のアルゴリズムを評価し、フルハイパーパrameter最適化を実施することで、バイオインフォマティクス分野における機械学習アルゴリズムの選定とチューニングに関するデータ駆動型の助言を提供する。主な貢献は、カバレッジと予測精度を最大化する5つの優れた性能を示すアルゴリズムとその特定のハイパーパrameterであり、医療関連データ解析におけるアルゴリズム選定の課題に直面する研究者にとって実用的な出発点を提供する。

ABSTRACT

As the bioinformatics field grows, it must keep pace not only with new data but with new algorithms. Here we contribute a thorough analysis of 13 state-of-the-art, commonly used machine learning algorithms on a set of 165 publicly available classification problems in order to provide data-driven algorithm recommendations to current researchers. We present a number of statistical and visual comparisons of algorithm performance and quantify the effect of model selection and algorithm tuning for each algorithm and dataset. The analysis culminates in the recommendation of five algorithms with hyperparameters that maximize classifier performance across the tested problems, as well as general guidelines for applying machine learning to supervised classification problems.

研究の動機と目的

• バイオインフォマティクス分野におけるアルゴリズム選択の過剰な負担に対処するため、機械学習（ML）アルゴリズムに関する証拠に基づいた助言を提供すること。
• 165の標準化されたバイオインフォマティクスおよび医療分野の分類問題から成る広範かつ多様なデータセット群において、13の一般的なscikit-learn MLアルゴリズムの性能を評価すること。
• ハイパーパrameterチューニングがモデル性能に与える影響を定量化し、最も効果的なアルゴリズムと設定を同定すること。
• 研究者が新しい医療関連データセットにMLを適用する際の実用的かつデータ駆動型の出発点を提供し、試行錯誤による選択に依存するのを減らすこと。
• 性能とモデルの透明性のトレードオフを分析することで、予測精度と解釈可能性の両面を支援すること。

提案手法

• scikit-learnに含まれる13の教師あり分類アルゴリズム（ナイーブベイズ、線形モデル、木ベースのモデル、アンサンブル手法、カーネルベース分類器など）を評価した。
• 各データセットに対してグリッドサーチを用いたフルハイパーパrameterチューニングを実施し、10-fold交差検証を用いて性能を最大化した。
• クラスの不均衡を考慮するため、Penn Machine Learning Benchmark（PMLB）の165のデータセット全体でバランス精度を主評価指標とした。
• すべてのデータセットを共通フォーマットに標準化し、再現性と広範な関連性を確保するため、PMLBから公開済みでよく整備された問題のみを用いた。
• データセット間での類似性に基づいてアルゴリズムの性能をクラスタリングし、アルゴリズム行動と頑健性のパターンを同定した。
• 専門家が示したハイパーパrameter範囲を用いて、データセットの総合的カバレッジと最高性能に基づく推薦を生成した。

実験結果

リサーチクエスチョン

• RQ1 どのような機械学習アルゴリズムが、幅広いバイオインフォマティクス分類問題において最高の予測性能を達成するか？
• RQ2 ハイパーパrameterチューニングは各アルゴリズムの性能をどの程度向上させるのか？その向上は、さまざまなデータセットで一貫しているか？
• RQ3 特定のアルゴリズムファミリー（例：木ベースのアンサンブル）は、多様な医療分野のデータセットにおいて一貫して他のものより優れているか？
• RQ4 少数のアルゴリズム-ハイパーパramータの組み合わせが、新しいバイオインフォマティクスプロジェクトの信頼できる出発点として機能できるか？
• RQ5 アルゴリズムの性能と解釈可能性のトレードオフは、医療分野の研究文脈におけるモデル選択にどのように影響を与えるか？

主な発見

• GradientBoostingClassifierは、loss='deviance'、learning_rate=0.1、n_estimators=500、max_depth=3、max_features='log2' の設定で、51件の165件のデータセットで良好な性能を示し、最高のカバレッジを達成した。
• RandomForestClassifierは、n_estimators=500、max_features=0.25、criterion='entropy' の設定で、19件のデータセットを効果的にカバーし、中程度の複雑さの問題において優れた性能を示した。
• SVCは、C=0.01、gamma=0.1、kernel='poly'、degree=3、coef0=10.0 の設定で、16件のデータセットで最高の性能を示し、非線形の決定境界が複雑な問題に特に適していた。
• ExtraTreesClassifierは、n_estimators=1000、max_features='log2'、criterion='entropy' の設定で12件のデータセットをカバーし、過学習に対して頑健で、優れた汎化性能を示した。
• LogisticRegressionは、C=1.5、penalty='l1'、fit_intercept=True の設定で8件のデータセットをカバーし、線形分離可能な問題において解釈可能性と中程度の性能のバランスを取っていた。
• 本研究では、ハイパーパrameterチューニングがほぼすべてのアルゴリズムにおいて性能を顕著に向上させることを確認した。個々のデータセットにおいて、バランス精度が10%以上向上するケースも多かった。