[論文レビュー] Direct Estimation of the Derivative of Quadratic Mutual Information with Application in Supervised Dimension Reduction

Voot Tangkaratt, Hiroaki Sasaki+1 more|arXiv (Cornell University)|Aug 5, 2015

Advanced Statistical Methods and Models参考文献 17被引用数 4

ひとこと要約

本稿では、QMIの推定誤差を回避するため、2次相互情報量（QMI）の導関数を直接推定する手法を提案する。この手法により、外れ値に強い、分布に依存しない次元削減が可能となり、特にノイズが多い、または高次元のデータにおいて、既存手法を上回る精度と外れ値耐性を実現する。

ABSTRACT

A typical goal of supervised dimension reduction is to find a low-dimensional subspace of the input space such that the projected input variables preserve maximal information about the output variables. The dependence maximization approach solves the supervised dimension reduction problem through maximizing a statistical dependence between projected input variables and output variables. A well-known statistical dependence measure is mutual information (MI) which is based on the Kullback-Leibler (KL) divergence. However, it is known that the KL divergence is sensitive to outliers. On the other hand, quadratic MI (QMI) is a variant of MI based on the $L_2$ distance which is more robust against outliers than the KL divergence, and a computationally efficient method to estimate QMI from data, called least-squares QMI (LSQMI), has been proposed recently. For these reasons, developing a supervised dimension reduction method based on LSQMI seems promising. However, not QMI itself, but the derivative of QMI is needed for subspace search in supervised dimension reduction, and the derivative of an accurate QMI estimator is not necessarily a good estimator of the derivative of QMI. In this paper, we propose to directly estimate the derivative of QMI without estimating QMI itself. We show that the direct estimation of the derivative of QMI is more accurate than the derivative of the estimated QMI. Finally, we develop a supervised dimension reduction algorithm which efficiently uses the proposed derivative estimator, and demonstrate through experiments that the proposed method is more robust against outliers than existing methods.

研究の動機と目的

• QMI推定が良好であっても、その導関数の推定に依存する supervised dimension reduction の限界を解消すること。
• QMI自体を事前に推定せずに、QMIの導関数を直接推定する手法を開発し、推定精度を向上させること。
• 高次元および外れ値に敏感なデータに適した、ロバストで分布に依存しない supervised dimension reduction アルゴリズムを構築すること。
• 交差検証を用いた客観的ハイパーパramータチューニングを可能とし、実用的応用性を高めること。
• 広範な実験を通じて、外れ値の存在下でも既存手法を上回る優れた性能を示すことを実証すること。

提案手法

• QMIの導関数を直接推定するため、$L_2$-距離に基づく最小二乗法を用いた手法を提案し、中間段階でのQMI推定を回避する。
• カーネルベース推定とレプリッカー定理を用いて、QMIの導関数の解析的表現を導出し、計算を効率化する。
• 直接導関数推定器を用いて最適な低次元部分空間を探索するための固定点反復アルゴリズムを設計する。
• 交差検証を統合し、チューニングパラメータを客観的に選択することで、ロバスト性と一般化性能を確保する。
• 下流の予測にはガウスカーネルを用いたカーネルリッジ回帰を用い、テストデータのRMSEを性能評価指標とする。
• 最適化問題を、射影部分空間に関するQMIの導関数を最大化する形に定式化することで、勾配ベースの探索が可能となる。

実験結果

リサーチクエスチョン

• RQ1 QMIの推定値の導関数を計算するのではなく、直接的にQMIの導関数を推定することで、より高い精度が得られるか？
• RQ2 LSQMIの導関数を求める間接的手法と比較して、提案手法の直接導関数推定器は、精度およびロバスト性の面で優れているか？
• RQ3 提案手法の supervised dimension reduction は、外れ値が混入したデータセットにおいて、既存の最先端手法を上回る性能を示すか？
• RQ4 直接導関数推定器は、部分空間学習の反復的最適化フレームワークに効率的に統合可能か？
• RQ5 ノイズ特徴量が追加された多様なベンチマークデータセットにおいて、本手法は性能を維持できるか？

主な発見

• QMIの導関数を直接推定する手法は、推定QMIの導関数を計算する手法に比べ、特に高ノイズまたは外れ値に敏感な状況下で顕著に高い精度を示す。
• ノイズ特徴量が50%含まれる 'Concrete' データセットでは、次元1でRMSE 0.582(0.006)を達成し、LSQMI や dMAVE を上回った。
• 'Bike' データセットでは、次元1でRMSE 0.036(0.005)を達成し、LSQMI や KDR を著しく上回った。
• 本手法は、すべてのベンチマークデータセットで一貫したロバスト性を示し、LSDR、KDR、dMAVE と比較して 'Fertility' および 'Concrete' データセットで平均RMSEが最低であった。
• 'Breast-cancer' データセットでは次元1でRMSE 0.375(0.007)を達成し、LSQMI や dMAVE を上回り、最良の性能を示した。
• 直接導関数推定器を用いた固定点反復は、安定的かつ効率的に収束し、分布の仮定を必要とせずに効果的な部分空間探索が可能となった。