[論文レビュー] Estimating Information-Theoretic Quantities with Random Forests.

Richard Guo, Cencheng Shen+1 more|arXiv (Cornell University)|Jun 30, 2019

Neural Networks and Applications被引用数 2

ひとこと要約

本稿では、分位数回帰フォレストと誠実なサンプリング、有限標本補正を組み合わせることで、相互情報量や条件付きエントロピーなどの情報理論的量の非パラメトリック推定を改善するランダムフォレストベースの手法、Conditional Forests (CF) を提案する。CF は低次元および高次元の両方の設定においてバイアスと分散を低減し、特に連続的・離散的混合データに対して優れた性能を示す。また、細胞特徴からニューロンクラスの情報を推定する応用においても強力な性能を発揮する。

ABSTRACT

Information-theoretic quantities, such as mutual information and conditional entropy, are useful statistics for measuring the dependence between two random variables. However, estimating these quantities in a non-parametric fashion is difficult, especially when the variables are high-dimensional, a mixture of continuous and discrete values, or both. In this paper, we propose a decision forest method, Conditional Forests (CF), to estimate these quantities. By combining quantile regression forests with honest sampling, and introducing a finite sample correction, CF improves finite sample bias in a range of settings. We demonstrate through simulations that CF achieves smaller bias and variance in both low- and high-dimensional settings for estimating posteriors, conditional entropy, and mutual information. We then use CF to estimate the amount of information between neuron class and other ceulluar feautres.

研究の動機と目的

• 従来の非パラメトリック手法が高いバイアスと分散を示す、高次元で混合型（連続的および離散的）のデータにおける情報理論的量の推定という課題に対処すること。
• 複雑なデータ設定における相互情報量、条件付きエントロピー、および後方確率の有限標本推定精度を向上させること。
• 分位数回帰フォレストと誠実なサンプリング、有限標本補正を組み合わせた、より高い統計的信頼性を備えた柔軟で頑健なフレームワークの構築。
• 多様なシミュレーション状況における手法の性能を評価し、具体的にはニューロン細胞タイプにおける情報伝達の定量的評価に応用すること。
• パラメトリック仮定が不適切な状況において、変数間の依存関係を推定するための実用的でスケーラブルなツールの提供。

提案手法

• Conditional Forests (CF) は、条件付き分布をモデル化するための分位数回帰フォレストを統合し、後方分布および条件付きエントロピーの非パラメトリック推定を可能にする。
• 手法は誠実なサンプリングを採用しており、訓練と分割が別々のデータサブセットで行われるため、過学習が抑えられ、一般化性能が向上する。
• 有限標本補正が適用され、特に高次元またはスパースなデータ領域において顕著なバイアスを補正する。
• CF は、同じフォレスト構造から得られる条件付きエントロピーと周辺エントロピーの推定値を組み合わせることで、相互情報量を推定する。
• 不純度低減に基づく再帰的二分木分割を用いて特徴空間を適応的にパーティション分割し、情報理論的量を最適化する。
• 連続的および離散的変数の両方に対して適切な分割ルールを用いることで、同じフォレストフレームワーク内で混合型特徴をサポートする。

実験結果

リサーチクエスチョン

• RQ1 既存の非パラメトリック手法と比較して、ランダムフォレストベースのアプローチが、相互情報量の有限標本バイアスを低減できるか。
• RQ2 低次元および高次元のデータ設定において、Conditional Forests は条件付きエントロピーの推定においてベースライン手法と比べてどのように性能を発揮するか。
• RQ3 有限標本補正は、小標本またはスパースなデータセットにおいて推定精度をどの程度向上させるか。
• RQ4 実際の生物学的データにおいて、CF はニューロンクラスと他の細胞特徴との間の情報伝達をどの程度正確に推定できるか。
• RQ5 データ変換やパラメトリック仮定を必要とせずに、CF は連続的・離散的混合データタイプを効果的に処理できるか。

主な発見

• CF は、低次元および高次元の両方のシミュレーション設定において、ベースライン非パラメトリック手法と比較して、相互情報量推定におけるバイアスと分散を顕著に低減した。
• 有限標本補正は、小標本領域におけるバイアスを効果的に低減し、特に条件付きエントロピーおよび後方確率推定の精度向上に寄与した。
• CF は、標準的なランダムフォレストや他の非パラメトリック推定器よりも、連続的および離散的変数を含むデータにおいて、情報理論的量の推定において優れた性能を示した。
• 実際の生物学的応用において、CF はニューロンクラスとさまざまな細胞特徴との間の情報量を成功裏に定量化し、実用的有用性を示した。
• CF は、多様なデータ分布および特徴タイプ、特に高次元およびスパースなデータにおいても頑健な性能を維持した。
• CF における誠実なサンプリングは、より信頼性の高い分散推定と、改善されたオーバーサンプル性能に寄与した。