[論文レビュー] A Unified View of Causal and Non-causal Feature Selection

Kui Yu, Lin Liu+1 more|arXiv (Cornell University)|Feb 16, 2018

Bayesian Modeling and Causal Inference被引用数 13

ひとこと要約

本稿は、因果的および非因果的特徴選択手法が、最終的な目的として同一であることを明らかにする統一的理論枠組みを提示する。それは、クラス変数のマルコフブラケットを特定することである。ベイジアンネットワークと情報理論を用いて問題をモデル化することで、両手法が同じ最適特徴集合を求めるように設計されていることが示され、探索戦略における構造的仮定と近似レベルの違いが生じる。これにより、誤差バウンドが定量的に評価され、解釈可能性の洞察が得られる。

ABSTRACT

In this paper, we aim to develop a unified view of causal and non-causal feature selection methods. The unified view will fill in the gap in the research of the relation between the two types of methods. Based on the Bayesian network framework and information theory, we first show that causal and non-causal feature selection methods share the same objective. That is to find the Markov blanket of a class attribute, the theoretically optimal feature set for classification. We then examine the assumptions made by causal and non-causal feature selection methods when searching for the optimal feature set, and unify the assumptions by mapping them to the restrictions on the structure of the Bayesian network model of the studied problem. We further analyze in detail how the structural assumptions lead to the different levels of approximations employed by the methods in their search, which then result in the approximations in the feature sets found by the methods with respect to the optimal feature set. With the unified view, we are able to interpret the output of non-causal methods from a causal perspective and derive the error bounds of both types of methods. Finally, we present practical understanding of the relation between causal and non-causal methods using extensive experiments with synthetic data and various types of real-word data.

研究の動機と目的

• 因果的および非因果的特徴選択手法の間の根本的な理解のギャップを解消すること。
• 両手法が分類の理論的最適特徴集合たるクラス属性のマーティンブラケットを同定することを共通の目的として持つことを確立すること。
• 因果的および非因果的手法の背後にある仮定を、ベイジアンネットワークモデルにおける構造的制約にマッピングすることで統一すること。
• 構造的仮定が特徴選択における近似レベルにどのように影響し、最適特徴集合からのずれの度合いに変化をもたらすかを分析すること。
• 因果的および非因果的手法の誤差バウンドを導出し、合成データおよび実世界データを用いた広範な実験を通じて実用的洞察を提供すること。

提案手法

• 特徴とクラス変数の同時分布をモデル化するためのベイジアンネットワークフレームワークを用いた理論的分析。
• 特に相互情報量を用いた情報理論の応用により、マーティンブラケットの同定の文脈における特徴の関連性と条件付き独立性を定量化すること。
• 因果的および非因果的手法における探索戦略を、ベイジアンネットワークの特定の構造的仮定（例：条件付き独立性仮定、忠実性、マルコフ性）にマッピングすること。
• 近似された特徴集合と真のマーティンブラケットとの乖離に基づいて、特徴選択手法の誤差バウンドを導出すること。
• 分類精度、カッパ統計量、選択された特徴数、実行時間の観点から、複数のデータセットにおける8種類の特徴選択アルゴリズム（例：IAMB, HITON-MB, mRMR, JMI）を体系的に比較すること。
• 理論的仮定の妥当性を検証するための合成データの使用と、実世界のデータセット（例：hiva, ohsumed, thrombin, infant）を用いた実用的性能および頑健性の実証。

実験結果

リサーチクエスチョン

• RQ1 非因果的特徴選択の目的（強く関連する特徴の同定）と因果的特徴選択の目的（マーティンブラケットの同定）の根本的関係は何か？本稿は、両者が同じ最適特徴集合を同定することを示している。
• RQ2 因果的および非因果的手法の探索戦略の違いは何か？その背後にある仮定は何か？構造的仮定（例：忠実性、マルコフ性）の違いが原因である。
• RQ3 構造的仮定が、真のマーティンブラケットに対する選択された特徴集合の近似品質に与える影響は何か？仮定の強さに応じて近似の程度が変化し、誤差バウンドで定量的に評価される。
• RQ4 非因果的特徴選択手法は因果的視点から解釈可能か？逆に因果的手法も非因果的視点から解釈可能か？統一フレームワークにより可能であり、非因果的出力の因果的解釈が可能になる。
• RQ5 両手法の理論的および実験的誤差バウンドは何か？本稿では、合成データおよび実世界データを用いてこれらのバウンドを導出し、検証している。

主な発見

• 因果的および非因果的特徴選択手法は、同じ目的を有する：クラス変数のマーティンブラケットを特定すること。これは分類の理論的最適特徴集合である。
• マーティンブラケットには、クラス変数の親、子、配偶者が含まれ、すべての手法がこの集合を回復することを目的としているが、近似の程度には差がある。
• 実験では、HITON-MBおよびIAMBが最高の予測精度（例：NBCを用いたthrombinデータセットでは0.7576 ± 0.05）を達成した。一方、mRMRおよびJMIはカッパ統計量において優れた性能（例：KNNを用いたthrombinデータセットでは0.5935 ± 0.12）を示した。
• HITON-MBおよびIAMBは、より少ない特徴数（例：hivaデータセットでは7および8特徴）を選択した。これに対してmRMRは30/30特徴を選択しており、より良い単純性（parsimony）を示している。
• 実行時間に顕著な差が見られた。MMMBおよびHITON-MBは計算的に高コスト（例：thrombinデータセットでHITON-MBは23,456秒）であったが、mRMRおよびJMIは高速（例：infantデータセットでmRMRは0.1秒）であった。
• 統一フレームワークにより誤差バウンドの推定が可能となり、仮定の強さに応じて近似品質が変化することが示された。より強い仮定が、真のマーティンブラケットに近い近似をもたらす。