[論文レビュー] Relative Density-Ratio Estimation for Robust Distribution Comparison

Makoto Yamada, Taiji Suzuki+3 more|arXiv (Cornell University)|Jun 23, 2011

Machine Learning and Algorithms被引用数 28

ひとこと要約

本稿では、ソースおよびターゲット分布の凸混合による密度比のスムージングを通じて、分布比較におけるロバスト性を向上させる相対的密度比推定を提案する。α-相対ダイバージェンスを用いることで、非パラメトリックな収束速度が向上し、モデルの複雑さに依存しない漸近的分散を達成する。これにより、オーバーフィッティングが低減され、外れ値検出および2標本検定における安定性が向上する。

ABSTRACT

Divergence estimators based on direct approximation of density-ratios without going through separate approximation of numerator and denominator densities have been successfully applied to machine learning tasks that involve distribution comparison such as outlier detection, transfer learning, and two-sample homogeneity test. However, since density-ratio functions often possess high fluctuation, divergence estimation is still a challenging task in practice. In this paper, we propose to use relative divergences for distribution comparison, which involves approximation of relative density-ratios. Since relative density-ratios are always smoother than corresponding ordinary density-ratios, our proposed method is favorable in terms of the non-parametric convergence speed. Furthermore, we show that the proposed divergence estimator has asymptotic variance independent of the model complexity under a parametric setup, implying that the proposed estimator hardly overfits even with complex models. Through experiments, we demonstrate the usefulness of the proposed approach.

研究の動機と目的

• 分母の密度が小さい領域で発散しやすいという問題を引き起こす、ダイバージェンスに基づく分布比較における密度比推定の不安定性を是正する。
• 標準的な密度比推定器が真の比のsup-ノルムに支配される、劣悪な非パラメトリック収束レートを克服する。
• 複雑なモデルや非理想データに対しても、精度と安定性を維持するロバストな分布比較フレームワークを構築する。
• 提案されたα-相対ダイバージェンス推定器が、モデルの複雑さに依存しない漸近的分散を達成することを示す。これにより、オーバーフィッティングのリスクが低減する。

提案手法

• 0 ≤ α < 1 であるとき、p(\boldsymbol{x}) から \tilde{p}(\boldsymbol{x}) = \bar{\alpha} p(\boldsymbol{x}) + (1 - \alpha) p'(\boldsymbol{x}) への新しいダイバージェンス測度として α-相対ダイバージェンスを導入し、密度比の安定化を図る。
• α-相対ピアソン（PE）ダイバージェンスを \mathrm{PE}_\alpha[p, p'] = \frac{1}{2} \int \left( \frac{p(\boldsymbol{x})}{\alpha p(\boldsymbol{x}) + (1 - \alpha) p'(\boldsymbol{x})} - 1 \right)^2 (\alpha p(\boldsymbol{x}) + (1 - \alpha) p'(\boldsymbol{x})) \, d\boldsymbol{x} として定義し、比の極端な値を回避する。
• unconstrained least-squares importance fitting (uLSIF) を用いて、相対的密度比 r_\alpha(\boldsymbol{x}) = \frac{p(\boldsymbol{x})}{\alpha p(\boldsymbol{x}) + (1 - \alpha) p'(\boldsymbol{x})} を推定し、線形システムによる解析的計算を可能にする。
• 推定器の漸近的分散を導出し、パラメトリックな仮定のもとでモデルの複雑さに依存しないことを示し、オーバーフィッティングに対する耐性を示す。
• 漸近的展開およびインフルエンス関数解析を用いて推定器の極限分布を導出し、正則性条件下での一貫性と安定性を確認する。
• 外れ値検出および2標本適合性検定といった実用的タスクに推定器を適用し、標準的な密度比手法と比較して優れた性能を示す。

実験結果

リサーチクエスチョン

• RQ1 相対的密度比推定は、分布比較タスクにおけるダイバージェンス推定器の非パラメトリック収束レートを向上させることができるか？
• RQ2 提案されたα-相対ダイバージェンス推定器は、モデルの複雑さに依存しない漸近的分散を示すか、これによりオーバーフィッティングが低減されるか？
• RQ3 相対的密度比の定式化は、標準的な密度比推定における高振動による不安定性をどのように緩和するか？
• RQ4 一般条件下におけるuLSIFに基づくα-相対PEダイバージェンス推定器の理論的収束挙動はいかなるものか？
• RQ5 提案手法は、外れ値検出や2標本検定といった実世界の応用において、標準的な密度比ベースの手法を上回る性能を示すか？

主な発見

• 提案されたα-相対ダイバージェンス推定器は、相対的密度比 r_\alpha(\boldsymbol{x}) のsup-ノルムに支配される非パラメトリック収束レートを達成する。これは、標準的な密度比よりも本質的に滑らかである。
• パラメトリックな設定のもとで、推定器の漸近的分散はモデルの複雑さに依存しない。これは、複雑なモデルに対しても強いオーバーフィッティング耐性を示す。
• 分散の上限は \mathbb{V}[\widehat{\mathrm{PE}}_\alpha] \leq \frac{\|r_\alpha\|_\infty^2}{n} + \frac{\alpha^2 \|r_\alpha\|_\infty^4}{4n} + \frac{(1 - \alpha)^2 \|r_\alpha\|_\infty^4}{4n'} + o(1/n, 1/n') として導出され、変動が有界であることが示される。
• インフルエンス関数解析を用いて推定器の漸近的分布が導出され、正則性条件下での一貫性と安定性が確認される。
• 実験的結果は、標準的な密度比ベース手法と比較して、外れ値検出および2標本適合性検定において優れた性能を示している。
• 分母のα混合によるスムージング効果のおかげで、p'(\boldsymbol{x}) が小さい領域における発散問題を効果的に回避している。