[論文レビュー] Causality-based Feature Selection: Methods and Evaluations

Kui Yu, Xianjie Guo+5 more|arXiv (Cornell University)|Nov 17, 2019

Bayesian Modeling and Causal Inference参考文献 71被引用数 28

ひとこと要約

本論文は、因果関係に基づく特徴量選択手法について包括的なレビューを提供し、最先端のアルゴリズムを実装する新規オープンソースパッケージCausalFSを紹介している。研究では、因果関係に配慮した特徴量選択が、分布シフトやノイズの多いデータの処理において特に顕著にモデルの解釈可能性と頑健性を向上させることを示している。PCベースの手法は、現実世界の不均衡データセットにおいて、マルコフ境界手法を上回る性能を発揮した。

ABSTRACT

Feature selection is a crucial preprocessing step in data analytics and machine learning. Classical feature selection algorithms select features based on the correlations between predictive features and the class variable and do not attempt to capture causal relationships between them. It has been shown that the knowledge about the causal relationships between features and the class variable has potential benefits for building interpretable and robust prediction models, since causal relationships imply the underlying mechanism of a system. Consequently, causality-based feature selection has gradually attracted greater attentions and many algorithms have been proposed. In this paper, we present a comprehensive review of recent advances in causality-based feature selection. To facilitate the development of new algorithms in the research area and make it easy for the comparisons between new methods and existing ones, we develop the first open-source package, called CausalFS, which consists of most of the representative causality-based feature selection algorithms (available at https://github.com/kuiy/CausalFS). Using CausalFS, we conduct extensive experiments to compare the representative algorithms with both synthetic and real-world data sets. Finally, we discuss some challenging problems to be tackled in future causality-based feature selection research.

研究の動機と目的

• 単に相関に依存する古典的手法の限界に対処すること。これにより、解釈不能または頑健性に欠ける特徴量が選ばれる可能性がある。
• CausalFSという統一的なオープンソースフレームワークを開発し、因果関係に基づく特徴量選択アルゴリズムの実装と比較を標準化すること。
• 合成データおよび現実世界のデータにおいて、因果関係に基づく手法の性能を評価すること。特に、クラスの不均衡やデータノイズといった挑戦的状況を想定する。
• ストリーミングデータ、弱い教師信号、分布シフトの処理といった、因果関係に基づく特徴量選択における主な未解決問題を特定し、それらに対処すること。

提案手法

• 著者らは、制約ベースおよびスコアベースのアプローチを用いて、PC、HITON-PC、MMPC、GetPC、MBtoPC、SLL、S2TMB、IPCMBといった複数の因果関係に基づく特徴量選択アルゴリズムを実装・評価した。
• ベイジアンネットワークとマーカフ境界を活用することで、ターゲット変数の直接的原因を同定し、相関関係を超えた因果的関連性を保証した。
• 精度を向上させ、誤検出を低減するために、バックワード戦略と対称性チェックを適用した。
• CausalFSパッケージは、PCおよびMB学習を両方サポートしており、高次元データにおける効率的かつスケーラブルな特徴量選択を可能にした。
• 合成データを用いた実験により、精度を評価した。一方、現実世界のデータセット（例：dorothea、bankrupty、infant）を用いた実験により、クラスの不均衡下でのAUC性能を評価した。
• 制約ベース（例：HITON-PC）とスコアベース（例：IPCMB）の手法を比較し、正確性、速度、データ効率の面でのトレードオフを明らかにした。

実験結果

リサーチクエスチョン

• RQ1 因果関係に基づく特徴量選択手法は、既知の因果構造を持つ合成データにおいて、古典的手法（相関に基づく）と比較して、精度と頑健性に優れているか？
• RQ2 因果関係に基づく手法は、現実世界の不均衡データセットにおいてどの程度の性能を示すか？また、従来の特徴量選択手法と比較して、AUCおよび計算効率の面で優れているか？
• RQ3 因果関係に基づく手法は、欠損値やノイズのある低品質なデータに対しても効果的に機能するか？このような状況下で必要な修正は何か？
• RQ4 オンラインまたはストリーミングデータ環境では、因果関係に基づく特徴量選択アルゴリズムのスケーラビリティと正確性にどのような影響を与えるか？
• RQ5 因果関係に基づく手法は、分布シフト下で性能劣化をどの程度軽減できるか？また、原因と結果を信頼性高く区別できるか？

主な発見

• バックワード戦略と対称性チェックは、因果関係に基づく特徴量選択において、合成データ実験で誤検出を顕著に低減し、精度を向上させた。
• 現実世界の不均衡データセットにおいて、クラス変数のPC（マーカフブランケット）を選択すると、全MBを選択するのと比較して分類性能が向上し、著しく高速であった。
• スコアベースのPCおよびMB学習アルゴリズムは、特に高次元または小標本設定下で、制約ベースの手法に比べて優れたデータ効率を示した。
• 評価された手法の中で、IPCMBとMBtoPCが、不均衡データセット（例：dorotheaで0.78/0.74、bankruptyで0.77/0.78）において最高のAUCスコアを達成し、ベースライン手法を上回った。
• SLLおよびS2TMBは一貫して性能が低く、大多数の現実世界データセットでAUCが0.50にとどまり、複雑なデータや不均衡データの処理における限界を示した。
• 強力な理論的優位性にもかかわらず、既存の因果関係に基づく手法は、欠損値やノイズといった現実世界のデータ品質の問題に対し、依然として苦戦している。これは、重要な未解決課題を示している。