[論文レビュー] TCMI: a non-parametric mutual-dependence estimator for multivariate continuous distributions

Benjamin Regler, Matthias Scheffler+1 more|arXiv (Cornell University)|Jan 30, 2020

Computational Drug Discovery Methods参考文献 94被引用数 4

ひとこと要約

本稿では、小規模またはノイズの多い連続的データからの確率密度推定の限界を克服するために、累積確率分布を用いることで、連続分布における多次元相互依存の非パラメトリックでロバストな推定器であるTCMIを提案する。TCMIは、ターゲットに対する非線形統計的依存度に基づいて変数集合をランク付けすることで、信頼性の高い特徴選択を可能にし、シミュレーションおよび実世界の物質科学データセットにおいて優れた性能を示した。

ABSTRACT

The identification of relevant features, i.e., the driving variables that determine a process or the properties of a system, is an essential part of the analysis of data sets with a large number of variables. A mathematical rigorous approach to quantifying the relevance of these features is mutual information. Mutual information determines the relevance of features in terms of their joint mutual dependence to the property of interest. However, mutual information requires as input probability distributions, which cannot be reliably estimated from continuous distributions such as physical quantities like lengths or energies. Here, we introduce total cumulative mutual information (TCMI), a measure of the relevance of mutual dependences that extends mutual information to random variables of continuous distribution based on cumulative probability distributions. TCMI is a non-parametric, robust, and deterministic measure that facilitates comparisons and rankings between feature sets with different cardinality. The ranking induced by TCMI allows for feature selection, i.e., the identification of variable sets that are nonlinear statistically related to a property of interest, taking into account the number of data samples as well as the cardinality of the set of variables. We evaluate the performance of our measure with simulated data, compare its performance with similar multivariate-dependence measures, and demonstrate the effectiveness of our feature-selection method on a set of standard data sets and a typical scenario in materials science.

研究の動機と目的

• 標本数が限られる場合に確率密度推定が不安定になる多次元連続分布における相互情報量の信頼性の高い推定に課題に対処する。
• 標本サイズおよび変数集合の基数を考慮した非パラメトリックで決定論的な、ロバストな相互依存の測度を構築する。
• 変数が異なる基数を持つ場合でも、ターゲット特性に対する非線形統計的依存度に基づいて変数サブセットをランク付けすることで、効果的な特徴選択を可能にする。
• 従来の特徴選択に用いられる依存度測度が抱えるスケールや順列に対する感受性といった限界を克服する。
• 実世界のデータ、特にバンドギャップなどの物理的特性を予測する物質科学の応用において、TCMIが関連する特徴を同定する有効性を実証する。

提案手法

• 確率密度関数（PDF）ではなく、経験的累積分布関数（ECDF）に基づく非パラメトリック推定器として、総累積相互情報量（TCMI）を提案する。
• カーネル密度推定とバンド幅選択の必要性を回避するため、経験的累積エントロピーを用いて連続確率変数の情報量を推定する。
• ターゲット変数Yと特徴Xの集合間の結合相互依存度を測るTCMIを定義し、Yの累積分布および(X,Y)の結合累積分布に基づく。
• 下位の分布に関する仮定を避ける非パラメトリックで決定論的なアプローチを採用することで、小規模またはノイズの多いデータに対するロバスト性を向上させる。
• 分枝限定法やグリーディ戦略を用いた特徴サブセット探索フレームワークにTCMIを統合し、最適な特徴集合をランク付け・選択する。
• 勾配ブースティング決定木（LightGBM）を用いた10分割交差検証により、ベンチマークデータセットにおける予測性能を評価することで、手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 確率密度推定に依存せずに、連続分布における多次元依存関係を信頼性高く定量化できる非パラメトリックな相互依存推定器を開発可能か？
• RQ2 TCMIは、CMI、MAC、UDS、MCDEといった既存の多次元依存度測度と比較して、小規模またはノイズの多いデータセットにおける特徴選択の正確性とロバスト性において優れているか？
• RQ3 TCMIは、物質科学の実世界データ、特にバンドギャップなどの物理的特性を予測する文脈で、特徴選択の性能をどの程度向上させるか？
• RQ4 TCMIは、標本サイズおよび特徴集合の基数を適切に考慮し、異なる特徴組み合わせ間での公平な比較が可能にされるか？
• RQ5 シミュレーションおよび実データにおいて、TCMIはパラメトリックまたは密度に基づく代替手法と比較して、非線形で多次元的な依存関係をどの程度効果的に同定できるか？

主な発見

• TCMIは、八価バイナリ化合物半導体のバンドギャップ予測に向けた関連特徴サブセットの同定において、CMI、MAC、UDS、MCDEを著しく上回り、9変数の特徴集合を用いてピアソンR² = 0.87を達成した。
• 全16特徴を用いた場合、平均二乗誤差（RMSE）は0.15 eV、平均絶対誤差（MAE）は0.09 eVを記録し、強力な予測能力を示した。
• TCMIは、累積分布に依存するため、小規模データにおいて特に優れたロバスト性と一貫性を示し、特徴選択の信頼性が向上した。
• TCMIが選択した特徴サブセット（9変数）はR² = 0.87を達成し、UDS（R² = 0.86）やMCDE（R² = 0.89）を上回ったほか、一部の指標ではより低い誤差を示した。
• TCMIは非線形依存関係を効果的に扱い、CMI や MAC が抱える順列やスケールに対する感受性の問題を回避した。特に物質科学データにおいて顕著であった。
• LightGBMを用いた10分割交差検証と早期停止により、TCMIで選択された特徴は安定かつ汎用性のあるモデルをもたらし、複数回のランダムな分割においても性能が維持された。