[論文レビュー] LCS-DIVE: An Automated Rule-based Machine Learning Visualization Pipeline for Characterizing Complex Associations in Classification

Robert Zhang, Rachael Z. Stolzenberg‐Solomon+2 more|arXiv (Cornell University)|Apr 26, 2021

Evolutionary Algorithms and Applications参考文献 41被引用数 5

ひとこと要約

LCS-DIVE は、ExSTraCS からの特徴追跡スコアを活用して、複雑な多次元的関連（例：エピスタシスや異質性）を解釈する自動化・ルールベースの機械学習パイプラインである。クラスタリング、可視化、サブグループ特徴化を通じてグローバルなモデル解釈を可能とし、シミュレートされたおよび実際の膵がんデータにおいて、関連パターンの区別において優れた性能を示した。

ABSTRACT

Machine learning (ML) research has yielded powerful tools for training accurate prediction models despite complex multivariate associations (e.g. interactions and heterogeneity). In fields such as medicine, improved interpretability of ML modeling is required for knowledge discovery, accountability, and fairness. Rule-based ML approaches such as Learning Classifier Systems (LCSs) strike a balance between predictive performance and interpretability in complex, noisy domains. This work introduces the LCS Discovery and Visualization Environment (LCS-DIVE), an automated LCS model interpretation pipeline for complex biomedical classification. LCS-DIVE conducts modeling using a new scikit-learn implementation of ExSTraCS, an LCS designed to overcome noise and scalability in biomedical data mining yielding human readable IF:THEN rules as well as feature-tracking scores for each training sample. LCS-DIVE leverages feature-tracking scores and/or rules to automatically guide characterization of (1) feature importance (2) underlying additive, epistatic, and/or heterogeneous patterns of association, and (3) model-driven heterogeneous instance subgroups via clustering, visualization generation, and cluster interrogation. LCS-DIVE was evaluated over a diverse set of simulated genetic and benchmark datasets encoding a variety of complex multivariate associations, demonstrating its ability to differentiate between them and then applied to characterize associations within a real-world study of pancreatic cancer.

研究の動機と目的

• 従来のブラックボックス型機械学習手法に透明性が欠ける複雑でノイジーかつ異質なバイオメディカル分類モデルの解釈の課題に対処すること。
• 個々の予測を越えて、特徴の重要度、相互作用パターン、サブグループの異質性に焦点を当てたグローバルなモデル行動を特徴付ける自動化パイプラインの開発。
• ルールベースのモデルの可視的および計算的精査を通じて、性別駆動のサブグループや多次元的エピスタシス効果などの生物学的に妥当な関連を研究者が発見できるようにすること。
• ルールベース学習と特徴追跡スコアの統合により、スケーラブルで人間が読みやすいインサイトを提供することで、機械学習における解釈性と知識発見の向上。
• パイプラインが合成および実世界のデータセットにおいて、単変量、加法的、エピスタシス的、および異質的関連の区別にどの程度効果的であるかの評価。

提案手法

• ノイジーで高次元のバイオメディカルデータを想定したルールベース学習分類器システムである ExSTraCS の scikit-learn 互換実装を活用する。
• 各特徴が個々の訓練サンプルに与える寄与度を定量化するための特徴追跡（FT）スコアを用い、局所的およびグローバルな解釈性を実現する。
• FT スコアのシグネチャに自動クラスタリングを適用し、特徴の重要度パターンが特徴的な異なるインスタンスサブグループを同定する。
• FT クラスターマップやルールネットワーク図などの可視化を生成し、モデル解釈とサブグループ精査を支援する。
• ルール集団分析と FT スコア分析を統合し、より明確で洗練されたモデル行動のインサイトを得るために、後者を優先する。
• 4段階のパイプラインを適用する：（1）ExSTraCS を用いたモデル学習、（2）FT スコアの抽出、（3）クラスタリングと可視化、（4）クラスターレベルの精査により生物学的に意味のあるサブグループを区別する。

実験結果

リサーチクエスチョン

• RQ1 LCS-DIVE は、複雑なバイオメディカルデータにおける単変量、加法的、エピスタシス的、および異質的関連パターンを信頼性を持って区別できるか？
• RQ2 従来のルール集団分析と比較して、特徴追跡スコアのシグネチャは、潜在的な多次元的関連を捉え、可視化する上でどの程度優れているか？
• RQ3 LCS-DIVE は、実世界のデータセット（例：膵がん）において、特徴の重要度パターンが明確に異なる生物学的に関連のあるインスタンスサブグループを同定・特徴付けることができるか？
• RQ4 ノイジーまたは高次元のデータにおいて、特に純粋なエピスタシス的または異質的関連を検出する際、このパイプラインはどの程度の性能を示すか？
• RQ5 FT クラスターマップは、実世界の応用において仮説生成やその後の生物学的調査をどの程度支援できるか？

主な発見

• LCS-DIVE は、クリーンなデータとノイジーなベンチマークおよびシミュレートデータの両方において、単変量、加法的、エピスタシス的、および異質的関連を的確に区別した。
• 特徴追跡スコアのシグネチャは、特に複雑なパターンを同定する際に、ルール集団分析よりも明確で信頼性の高い可視化を生み出した。
• 膵がんデータセット P1 において、LCS-DIVE は性別と家族歴が支配的である大規模なクラスタ（対照群 99% 以上、男性 99.11%）を同定し、性別駆動の異質的効果を示唆した。
• P2 データセットでは、性別と人種に次いで、炭水化物、脂肪、カルシウムの1日総摂取量といった食事関連変数が二次的重要な特徴として浮き彫りになった。
• パイプラインは、FT スコアのシグネチャのクラスタリングにより、元の異質的サブグループを的確に再現し、各クラスタで特徴の重要度パターンが明確に異なった。
• 実世界データへの応用により、性別に基づく異質性や多次元的加法的効果の可能性が明らかになり、本パイプラインが生物学的に妥当な仮説を生成する有用性が示された。