[論文レビュー] Trimmed Density Ratio Estimation

Song Liu, Akiko Takeda+2 more|arXiv (Cornell University)|Mar 9, 2017

Target Tracking and Data Fusion in Sensor Networks被引用数 8

ひとこと要約

本稿では、トリムド最尤推定アプローチを用いて凸最適化問題として定式化することにより、外れ値を自動で特定・除外するロバストなトリムド密度比推定器を提案する。この手法は部分勾配降下法を用いてグローバル収束を保証し、高次元設定下でも安定した推定を達成し、汚染されたデータや重尾分布の存在下で、標準的な密度比推定器を上回る性能を発揮する。

ABSTRACT

Density ratio estimation is a vital tool in both machine learning and statistical community. However, due to the unbounded nature of density ratio, the estimation procedure can be vulnerable to corrupted data points, which often pushes the estimated ratio toward infinity. In this paper, we present a robust estimator which automatically identifies and trims outliers. The proposed estimator has a convex formulation, and the global optimum can be obtained via subgradient descent. We analyze the parameter estimation error of this estimator under high-dimensional settings. Experiments are conducted to verify the effectiveness of the estimator.

研究の動機と目的

• 汚染されたデータポイントが無限大の比値を引き起こす場合に生じる標準的な密度比推定（DRE）の不安定性に対処すること。
• 汚染の程度を事前に把握しない状況でも、病理的データポイントを自動で検出し切り捨てるロバストな推定器の開発。
• 信頼性の高い最適化を実現するため、推定手順における凸性とグローバル最適性の保証。
• スパarsity誘導正則化を用いた高次元設定下でのパラメータ推定誤差の分析。
• 実験的に、外れ値および切断（truncation）の両状況下での手法の有効性を検証すること。

提案手法

• 極端な尤度値を無視するように適合されたトリムド最尤推定器（TMLE）フレームワークを、密度比推定に適応。
• 対数線形モデルとスパarsity誘導正則化を用いて、トリムドDREを凸最適化問題に再定式化。
• 部分勾配降下法を用いて凸最適化を効率的に解き、グローバル最適解への収束を保証。
• Fenchel双対性を用いて双対定式を導出し、計算効率と理論的分析を両立。
• 経験的尤度値に基づくしきい値処理機構を用いて外れ値を特定・除外。
• 高次元設定下での理論的誤差バウンドを導出。推定誤差とLipschitz連続性に関する収束性を示す。

実験結果

リサーチクエスチョン

• RQ1 外れ値が無限大の比値を引き起こす場合に、どのように密度比推定をロバストにできるか？
• RQ2 汚染されたデータの存在下でも、グローバル最適化と安定性を保証する凸定式化を設計可能か？
• RQ3 高次元設定下でのトリムドDREの理論的推定誤差挙動はいかなるものか？
• RQ4 データの構造的差異により真の密度比関数が切断されている場合、この手法はどのように動作するか？
• RQ5 病理的または変動が激しいサンプルを無視しながら、正しい密度比関数を回復できるか？

主な発見

• 提案手法のトリムドDRE推定器は、凸定式化のおかげで部分勾配降下法によりグローバル収束を達成し、信頼性の高い最適化を保証する。
• 外れ値設定下では、外れ値分布がインライナー領域から離れるに従い、標準的なKLIEPとは異なり、安定して真の密度比に収束する。
• 切断設定下では、真の切断密度比関数でさえ、定義域の部分集合上でのみ定義される真の比関数であっても、正常に回復する。
• 理論的分析により、パラメータ推定誤差が $\mathcal{O}(\|\mathbf{u}\| + \frac{L_1}{\sqrt{n_p}})$ で有界であることが示され、モデルの複雑さとデータサイズに明示的な依存関係がある。
• 実験的結果により、汚染度合いが変化しても本手法は一貫してロバストであることが示され、視覚的および定量的比較で非ロバストDREを上回る性能を発揮する。
• ドメイン適応における重要度重み付けにおいて、極端なサンプルが重み付けプロセスを支配することを防ぐため、本手法は効果的に機能する。