[論文レビュー] Condition Number Analysis of Kernel-based Density Ratio Estimation

Takafumi Kanamori, Taiji Suzuki+1 more|ArXiv.org|Dec 15, 2009

Anomaly Detection Techniques and Applications参考文献 39被引用数 21

ひとこと要約

この論文は、滑らかさ解析を用いて、核ベースの密度比推定手法、特に核最小二乗法（KuLSIF）の条件数を分析する。KuLSIFは、核平均マッチングや他のM推定量よりも小さい条件数を持つことが示され、数値的安定性と収束速度の優位性を示している。さらに、改良版のReduced-KuLSIFは、さらに小さい条件数を達成している。

ABSTRACT

The ratio of two probability densities can be used for solving various machine learning tasks such as covariate shift adaptation (importance sampling), outlier detection (likelihood-ratio test), and feature selection (mutual information). Recently, several methods of directly estimating the density ratio have been developed, e.g., kernel mean matching, maximum likelihood density ratio estimation, and least-squares density ratio fitting. In this paper, we consider a kernelized variant of the least-squares method and investigate its theoretical properties from the viewpoint of the condition number using smoothed analysis techniques--the condition number of the Hessian matrix determines the convergence rate of optimization and the numerical stability. We show that the kernel least-squares method has a smaller condition number than a version of kernel mean matching and other M-estimators, implying that the kernel least-squares method has preferable numerical properties. We further give an alternative formulation of the kernel least-squares estimator which is shown to possess an even smaller condition number. We show that numerical studies meet our theoretical analysis.

研究の動機と目的

• ヘッセ行列の条件数を用いて、核ベースの密度比推定手法の数値的安定性および収束特性を調査すること。
• 滑らかさ解析の文脈において、KuLSIFの条件数を、核平均マッチング（KMM）および他のM推定量の条件数と比較すること。
• より小さい条件数を達成する理論的に正当化された、KuLSIFの改良形式を考案すること。
• さまざまな設定下での条件数の挙動を実験的に検証することで、理論的予測を裏付けること。

提案手法

• 滑らかさ解析の技術を適用し、核ベースの密度比推定器の条件数の分布を導出する。
• KuLSIFとKMMの目的関数を統一的な形式に定式化することで、両者のヘッセ行列の条件数を直接比較可能にする。
• 損失関数の変換を用いてReduced-KuLSIFを提案し、条件数をさらに最小化する。
• 核行列の固有値分布およびデータ依存項に基づく条件数の確率的境界を用いる。
• ヘッセ行列およびその固有値の解析的表現を用いて、高次元および有限標本の状況下での条件数の挙動を評価する。
• 合成データおよび実データを用いた数値実験を通じて、理論的予測の妥当性を検証し、さまざまなパラメータ設定下での実際の条件数の値を測定する。

実験結果

リサーチクエスチョン

• RQ1 KuLSIFにおけるヘッセ行列の条件数は、KMMおよび他のM推定量と比較して、数値的安定性および収束性の観点でどのように異なるか？
• RQ2 元のKuLSIFよりも小さい条件数を達成できる、KuLSIFの代替形式を導出できるか？
• RQ3 滑らかさ解析の下で、核ベースの密度比推定器の条件数の理論的分布はどのようなものか？
• RQ4 KuLSIFの条件数は標本サイズおよびカーネルの選択にどのように依存するか？また、高次元設定でも有界のままであるか？
• RQ5 数値実験は、条件数の挙動に関する理論的予測をどの程度裏付けているか？

主な発見

• KuLSIFは、KMMの誘導型と比較して、より小さい条件数を持つ。これは最適化における数値的安定性の向上と、より速い収束を示している。
• すべてのM推定量の中で、KuLSIFはミニマックス的意味で最小の最悪ケース条件数を達成しており、敵対的状況下でも最もロバストである。
• KuLSIFの条件数は、高い確率で有界であり、その境界は核行列 $K_{11}$ のトレースおよび固有値、および正則化パラメータ $\lambda$ に依存する。
• 損失関数の変換を用いた代替形式、Reduced-KuLSIFは、標準的なKuLSIFよりもさらに小さい条件数を達成している。
• 数値実験により、実際の条件下で観測された条件数が、滑らかさ解析に基づく理論的予測と一致していることが確認された。
• KuLSIFの条件数は標本サイズに有利にスケーリングされ、その分布はデータおよびカーネル構造によって決定される値のまわりに集中している。