[論文レビュー] Robust Feature Selection by Mutual Information Distributions

Marco Zaffalon, Marcus Hütter|arXiv (Cornell University)|Jun 3, 2002

Bayesian Methods and Mixture Models参考文献 32被引用数 90

ひとこと要約

本稿では、2次ディリクレ事前分布を用いて相互情報量の分布のベイズ推定を行うことで、より頑健な特徴選択手法を提案する。この手法により、相互情報量の期待値と分散の解析的表現が得られ、ナイーブベイズ分類器における特徴選択を向上させる。実データセット上での実験では、従来の方法に比べて安定性と精度が向上し、経験的相互情報量よりも信頼性の高い依存関係推定を実現する。

ABSTRACT

Mutual information is widely used in artificial intelligence, in a descriptive way, to measure the stochastic dependence of discrete random variables. In order to address questions such as the reliability of the empirical value, one must consider sample-to-population inferential approaches. This paper deals with the distribution of mutual information, as obtained in a Bayesian framework by a second-order Dirichlet prior distribution. The exact analytical expression for the mean and an analytical approximation of the variance are reported. Asymptotic approximations of the distribution are proposed. The results are applied to the problem of selecting features for incremental learning and classification of the naive Bayes classifier. A fast, newly defined method is shown to outperform the traditional approach based on empirical mutual information on a number of real data sets. Finally, a theoretical development is reported that allows one to efficiently extend the above methods to incomplete samples in an easy and effective way.

研究の動機と目的

• 特徴選択における経験的相互情報量推定の信頼性を、標本から母集団への推論的推論を組み込むことで向上させること。
• 2次ディリクレ事前分布を用いた相互情報量の分布をモデル化するベイズフレームワークの構築。
• 特にナイーブベイズ分類器を対象として、インクリメンタル学習および分類タスクにおける頑健な特徴選択を可能にすること。
• 不完全なデータを効率的かつ効果的に処理できるようにこの手法を拡張すること。
• ベイズフレームワーク下での相互情報量の期待値と分散に対する解析的表現の提供。

提案手法

• 離散確率変数の同時分布および周辺分布をモデリングするために2次ディリクレ事前分布を用い、相互情報量におけるベイズ推論を可能にする。
• ディリクレ事前分布下での相互情報量の期待値に対する正確な解析的表現を導出する。
• 分散の解析的近似を提供し、不確実性の定量化を強化する。
• 計算効率を高めるために、相互情報量分布の漸近的近似を提案する。
• 経験的推定に代えて、相互情報量の事後平均に基づく高速で新規な特徴選択手法を提案する。
• ディリクレ分布の共役性の性質を活用して、不完全データへの拡張を実現し、効率的な周辺化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 特徴選択における有限標本効果に対して、どのように相互情報量推定を頑健にすることができるか？
• RQ2 ベイズ的ディリクレ事前分布下で、相互情報量の期待値と分散に対してどのような解析的表現が導けるか？
• RQ3 提案手法であるベイズ的特徴選択法は、経験的相互情報量と比較して分類性能においてどのように異なるか？
• RQ4 この手法は、特徴選択における欠損データや不完全なデータを効率的に処理できるか？
• RQ5 相互情報量の事後平均を用いることで、インクリメンタル学習およびナイーブベイズ分類にどのような影響を与えるか？

主な発見

• 相互情報量の事後平均に基づく提案手法は、複数の実世界データセットにおいて従来の経験的相互情報量を著しく上回る性能を示した。
• 2次ディリクレ事前分布下で、相互情報量の期待値と分散に対する解析的表現が導出され、正確な不確実性の定量化が可能となった。
• 相互情報量分布の漸近的近似は、大規模な標本に対して計算効率が高くかつ正確であることが示された。
• 本手法は、小規模かつ有限な標本サイズに対しても頑健であり、特徴選択における過学習を低減した。
• 不完全なデータへの拡張は理論的にも的確であり、実用的にも効果的で、計算コストの増加を最小限に抑えつつ性能を維持した。
• ベイズ的手法は経験的推定の原理的代替手段を提供し、ナイーブベイズモデルにおける分類精度を向上させた。