[論文レビュー] Empirically Estimable Classification Bounds Based on a New Divergence Measure

Visar Berisha, Alan Wisler+2 more|arXiv (Cornell University)|Dec 19, 2014

Neural Networks and Applications参考文献 35被引用数 5

ひとこと要約

本稿では、二値分類におけるベイズ誤差率（BER）のよりタイトで経験的に推定可能な境界を可能にする、新しい非パラメトリック f-発散度 $ ilde{D}_p(f,g)$ を導入する。密度推定を回避し、特に訓練データとテストデータの分布が異なる（ドメインシフト）状況下でもバッハタチャリヤ距離を上回る改善を示す。理論的保証と音声分類タスクにおける経験的検証を併せ持つ。

ABSTRACT

Information divergence functions play a critical role in statistics and information theory. In this paper we show that a non-parametric f-divergence measure can be used to provide improved bounds on the minimum binary classification probability of error for the case when the training and test data are drawn from the same distribution and for the case where there exists some mismatch between training and test distributions. We confirm the theoretical results by designing feature selection algorithms using the criteria from these bounds and by evaluating the algorithms on a series of pathological speech classification tasks.

研究の動機と目的

• 密度推定を要件としない、よりタイトで経験的に推定可能なベイズ誤差率の境界を可能にする新しい非パラメトリック f-発散度の開発。
• 訓練データとテストデータの分布が異なる状況（ドメイン適応）に対しても同様の境界を拡張すること。
• 新しい発散度がチェルノフ α-発散度族とどのように関連するかの理論的裏付けを提供し、バッハタチャリヤ距離などの既存の境界と比較すること。
• 病理的音声分類タスクにおける特徴選択アルゴリズムを、新しい発散度基準に基づいて設計・評価すること。

提案手法

• 密度推定を回避し、漸近的に一貫性を持つ幾何平均形式に基づく新しい発散度 $\tilde{D}_p(f,g)$ を導入。
• $\tilde{D}_p(f,g)$ を用いてベイズ誤差率の上界・下界を導出し、$\frac{1}{2} - \frac{1}{2}\sqrt{\tilde{D}_p(f,g)} \leq \epsilon^{\text{Bayes}} \leq \frac{1}{2} - \frac{1}{2}\tilde{D}_p(f,g)$ を示す。
• $\tilde{D}_p(f,g)$ とチェルノフ α-発散度との間の局所的関係を確立し、バッハタチャリヤ距離を上回るよりタイトな境界を実現可能とする。
• コーシー＝シュワルツの不等式を適用して、等しい事前確率下で新しい境界がバッハタチャリヤに基づく境界よりもタイトであることを証明。
• ターゲット誤差とソース誤差、および全変動距離を関連付ける一般化誤差境界を、$\tilde{D}_{1/2}(f_T, f_S)$ を用いて導出。
• 分布の不一致を伴う音声分類タスクにおいて、新しい発散度基準に基づく特徴選択アルゴリズムを用いて手法を検証。

実験結果

リサーチクエスチョン

• RQ1 バッハタチャリヤ距離などの既存測度よりも、よりタイトで経験的に推定可能なベイズ誤差率の境界を提供する非パラメトリック f-発散度を構築可能か？
• RQ2 提案された発散度 $\tilde{D}_p(f,g)$ は、特に誤差率境界の観点から、チェルノフ α-発散度族と意味的な関係を保っているか？
• RQ3 訓練データとテストデータの分布が異なる状況下でも、新しい発散度を用いてベイズ誤差率のよりタイトな境界を導出可能か？
• RQ4 分布シフトを伴う現実世界の分類タスクにおいて、新しい発散度基準に基づく特徴選択アルゴリズムはどの程度の性能を示すか？

主な発見

• 提案された発散度 $\tilde{D}_p(f,g)$ は、密度推定を要件とせず、高次元データに対しても適した経験的推定可能なベイズ誤差率の境界を可能にする。
• 等しい事前確率下では、新しい境界はバッハタチャリヤに基づく境界よりもタイトである：$\frac{1}{2} - \frac{1}{2}\sqrt{\tilde{D}_{1/2}(f,g)} \leq \epsilon^{\text{Bayes}} \leq \frac{1}{2} - \frac{1}{2}\tilde{D}_{1/2}(f,g)$、かつ $\tilde{D}_{1/2}(f,g) \leq BC(f,g)$。
• 下界がバッハタチャリヤの下界よりもタイトであるのは、$BC^2(f,g) \leq A_{1/2}(f,g) = \tilde{D}_{1/2}(f,g)$ が成り立ち、コーシー＝シュワルツの不等式により示されるため。
• ドメイン適応のための一般化誤差境界を提供：$\epsilon_T(h,y_T) \leq \epsilon_S(h,y_S) + \mathbb{E}_{f_S}[|y_S - y_T|] + 2\sqrt{\tilde{D}_{1/2}(f_T, f_S)}$。ターゲット誤差をソース誤差と分布シフト（$\tilde{D}_{1/2}(f_T, f_S)$）に結びつける。
• 病理的音声分類タスクにおける経験的評価により、$\tilde{D}_p(f,g)$ を用いた特徴選択が分類性能を向上させることを確認。理論的境界の妥当性が裏付けられた。