[論文レビュー] Automating biomedical data science through tree-based pipeline optimization

Randal S. Olson, Ryan J. Urbanowicz+4 more|arXiv (Cornell University)|Jan 28, 2016

Evolutionary Algorithms and Applications参考文献 13被引用数 26

ひとこと要約

この論文では、遺伝的プログラミングを用いて、バイオメディカルデータのための機械学習パイプラインを自動的に設計・最適化するツリー型パイプライン最適化ツール、TPOTを紹介する。シミュレートされたおよび実際の遺伝子データセットにおいて、競争力ある分類精度を達成しており、性能を向上させる新しい合成特徴生成子を発見する一方で、過学習の問題や、より優れたビルディングブロックの必要性といった課題も浮き彫りにしている。

ABSTRACT

Over the past decade, data science and machine learning has grown from a mysterious art form to a staple tool across a variety of fields in academia, business, and government. In this paper, we introduce the concept of tree-based pipeline optimization for automating one of the most tedious parts of machine learning---pipeline design. We implement a Tree-based Pipeline Optimization Tool (TPOT) and demonstrate its effectiveness on a series of simulated and real-world genetic data sets. In particular, we show that TPOT can build machine learning pipelines that achieve competitive classification accuracy and discover novel pipeline operators---such as synthetic feature constructors---that significantly improve classification accuracy on these data sets. We also highlight the current challenges to pipeline optimization, such as the tendency to produce pipelines that overfit the data, and suggest future research paths to overcome these challenges. As such, this work represents an early step toward fully automating machine learning pipeline design.

研究の動機と目的

• バイオメディカルデータサイエンスにおける機械学習パイプライン設計の面倒なプロセスを自動化すること。
• 最適なデータ変換、特徴工学、機械学習モデルの自動選択が可能なシステムを開発すること。
• 進化的計算が、実際のおよびシミュレートされた遺伝子データにおいて、高性能で一般化可能なパイプラインを発見できるかどうかを評価すること。
• 過学習やパイプライン最適化における有効なビルディングブロックの欠如といった制限要因を特定すること。
• データサイエンスにおける完全自動化で知的なパイプライン構築の基盤を築くこと。

提案手法

• TPOTは、抽象構文木として表現された機械学習パイプラインを遺伝的プログラミングで進化させる。
• 各パイプラインは、データ前処理、特徴選択、特徴生成、モデル適合といった順次処理から構成される。
• 一般化を促進するために、保留されたテストセットにおけるバランス精度を適合度として評価する。
• パイプラインツリーに対して選択、交差、変異を適用することで、探索空間を効率的に探索する。
• 進化的な演算子は、モデルタイプとハイパーパrameterの両方に対して適用され、エンドツーエンドの最適化を可能にする。
• 本システムは、エピスタシスを再現する遺伝子データと、実世界のCGEMS前立腺がんデータセットを用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 遺伝的プログラミングは、バイオメディカルデータのための機械学習パイプライン設計を効果的に自動化できるか？
• RQ2 TPOTは、分類精度を向上させるような、新しいパイプラインオペレータ（例：合成特徴生成子）を発見できるか？
• RQ3 TPOTのガイド付き探索は、ランダムサーチに比べて性能と効率で優れているか？
• RQ4 TPOTのパイプラインはどの程度過学習を示し、一般化を改善するための手法は何か？
• RQ5 TPOTは既知の生物学的マーカーを特定できるか。これは、知識発見の可能性を示唆する。

主な発見

• TPOTは、シミュレートされたおよび実際の遺伝子データセットにおいて、ランダムフォレストや決定木といったベースラインモデルを上回る競争力ある分類精度を達成した。
• CGEMS前立腺がんデータセットでは、NAT2 や BCL2 といった、前立腺がんの進行性と関連するとされるSNPを含む、顕著に分類精度を向上させる合成特徴が発見された。
• システムは、従来の特徴工学を上回る性能を発揮する、新しいパイプラインオペレータ（例：合成特徴生成子）を発見した。
• 初期の試行では、遺伝的プログラミングによるガイド付き探索がランダムサーチを上回らなかった。これは、進化が作用できる有効なビルディングブロックが不足している可能性を示唆している。
• TPOTのパイプラインはテストセットに対して過学習を示しており、多目的最適化などの一般化戦略の改善が求められる。
• 結果から、TPOTは関連する特徴や相互作用を特定することで、生物学的知識発見に貢献できる可能性があると示唆される。