[論文レビュー] Instance-Based Classification through Hypothesis Testing

Zengyou He, Chaohua Sheng+2 more|arXiv (Cornell University)|Jan 3, 2019

Machine Learning and Data Classification参考文献 24被引用数 5

ひとこと要約

本論文は、二値分類を、テストインスタンスと各クラスのトレーニングインスタンス間の距離集合を用いた二標本仮説検定として定式化する、新しいインスタンスベース分類手法を提案する。これらの距離集合に対してウィルコクソン・マン・ホイットニー検定を適用し、p値が小さい方のクラスにテストインスタンスを割り当てる。この手法により、最先端の分類器と同等の性能を達成するとともに、統計的有意性の評価と誤発見率（FDR）の制御が可能となる。

ABSTRACT

Classification is a fundamental problem in machine learning and data mining. During the past decades, numerous classification methods have been presented based on different principles. However, most existing classifiers cast the classification problem as an optimization problem and do not address the issue of statistical significance. In this paper, we formulate the binary classification problem as a two-sample testing problem. More precisely, our classification model is a generic framework that is composed of two steps. In the first step, the distance between the test instance and each training instance is calculated to derive two distance sets. In the second step, the two-sample test is performed under the null hypothesis that the two sets of distances are drawn from the same cumulative distribution. After these two steps, we have two p-values for each test instance and the test instance is assigned to the class associated with the smaller p-value. Essentially, the presented classification method can be regarded as an instance-based classifier based on hypothesis testing. The experimental results on 40 real data sets show that our method is able to achieve the same level performance as the state-of-the-art classifiers and has significantly better performance than existing testing-based classifiers. Furthermore, we can handle outlying instances and control the false discovery rate of test instances assigned to each class under the same framework.

研究の動機と目的

• 従来の最適化ベース分類器における統計的有意性の評価の欠如に対処すること。
• 分類意思決定のためのp値を提供する、検定ベースの分類フレームワークを開発すること。
• 誤分類されたテストインスタンスの誤発見率（FDR）を制御できること。
• 両方のクラスに対して有意でないp値を示すインスタンスを検出することで、外れ値のテストインスタンスを処理できること。
• 仮説検定とインスタンスベース学習の間のギャップを埋めるために、理論的および実験的関連性を確立すること。

提案手法

• テストインスタンスからすべてのトレーニングインスタンスまでの距離を計算し、クラスラベルに基づいて2つの集合に分割する。
• 分類問題を、2つの距離集合が同一の累積分布から抽出されたと仮定する帰無仮説を含む二標本仮説検定として定式化する。
• 距離集合にウィルコクソン・マン・ホイットニー（WMW）検定を適用し、それぞれのクラスに対して1つのp値を計算する。
• p値が小さい方のクラスにテストインスタンスを分類し、より強い統計的証拠を示す。
• 無関係または外れ値のインスタンスによるノイズを低減するため、検定の前にk近傍（k-NN）を用いて距離集合を形成する。
• p値のしきい値を用いることで、FDR制御が可能となる。

実験結果

リサーチクエスチョン

• RQ1 仮説検定フレームワークを、統計的厳密性を保ちつつインスタンスベース分類に効果的に適用できるか？
• RQ2 実世界のデータにおいて、検定ベース分類器の性能は、最先端の最適化ベース分類器と比べてどうか？
• RQ3 提案手法は、どのクラスにも属しない外れ値のテストインスタンスを検出できるか？
• RQ4 仮説検定からのp値を用いて、分類結果の誤発見率（FDR）を制御できるか？
• RQ5 提案手法とk-NN分類の間の理論的および実験的関係は何か？

主な発見

• 提案手法は、UCIおよびKEELリポジトリの40の実世界データセットにおいて、SVMなどの最先端分類器と同等の分類性能を達成した。
• 両方のクラスに対して有意水準を超えるp値を示すことで、外れ値のテストインスタンスが効果的に同定された。
• 二標本検定からのp値を活用することで、予測の誤発見率（FDR）を効果的に制御できる。
• 正例と負例のトレーニングセットのサイズが等しい場合、この手法は同じk-NNルールに従う一般化された統計的k-NNのバージョンに簡略化され、同一の分類結果を示す。
• 順序統計検定バージョンでは、k-NNが両クラスに均等に分布している場合、k-NNと同一の分類意思決定を示し、理論的整合性が裏付けられた。
• 本手法は実データにおいて実用的であることが示され、主にシミュレーション研究に限定されていた先行の検定ベース分類器の限界を克服した。