[論文レビュー] Nearest Neighbor Classifiers over Incomplete Information: From Certain Answers to Certain Predictions

Bojan Karlaš, Peng Li+5 more|arXiv (Cornell University)|May 11, 2020

Data Quality and Management参考文献 22被引用数 7

ひとこと要約

本論文は、特に近傍法分類器に対して、データの不完全性が機械学習モデルに与える影響を評価するための ' Certain Predictions ' (CP) を導入する。データ補完のすべての可能性において予測が保証される状況を形式化することで、CP 状態の確認および支援分類器の数のカウントを効率的に行うアルゴリズムを開発し、最小限の人的作業でモデル精度を著しく向上させるデータクリーニングフレームワーク (CPClean) を実現する。

ABSTRACT

Machine learning (ML) applications have been thriving recently, largely attributed to the increasing availability of data. However, inconsistency and incomplete information are ubiquitous in real-world datasets, and their impact on ML applications remains elusive. In this paper, we present a formal study of this impact by extending the notion of Certain Answers for Codd tables, which has been explored by the database research community for decades, into the field of machine learning. Specifically, we focus on classification problems and propose the notion of "Certain Predictions" (CP) -- a test data example can be certainly predicted (CP'ed) if all possible classifiers trained on top of all possible worlds induced by the incompleteness of data would yield the same prediction. We study two fundamental CP queries: (Q1) checking query that determines whether a data example can be CP'ed; and (Q2) counting query that computes the number of classifiers that support a particular prediction (i.e., label). Given that general solutions to CP queries are, not surprisingly, hard without assumption over the type of classifier, we further present a case study in the context of nearest neighbor (NN) classifiers, where efficient solutions to CP queries can be developed -- we show that it is possible to answer both queries in linear or polynomial time over exponentially many possible worlds. We demonstrate one example use case of CP in the important application of "data cleaning for machine learning (DC for ML)." We show that our proposed CPClean approach built based on CP can often significantly outperform existing techniques in terms of classification accuracy with mild manual cleaning effort.

研究の動機と目的

• 不完全なデータが機械学習の予測に与える影響を、' Certain Predictions ' (CP) の概念を用いて形式化すること。
• 2 つのコアなクエリ、CP チェックと不完全なデータワールド上での予測カウントの両方を効率的に処理するアルゴリズムを開発すること。
• 機械学習のためのデータクリーニング (DC for ML) に CP を適用し、人的作業を減らしながらモデル精度を向上させること。
• CP を用いたクリーニングが、既存の手法よりも精度および効率の面で優れていることを示すこと。

提案手法

• Codd テーブルにおける ' Certain Answers ' のデータベース的コンセプトを機械学習へ拡張し、すべての可能なデータ補完において一貫した予測を保証する ' Certain Predictions ' (CP) を定義する。
• 2 つの基本的クエリを提案する: (Q1) CP チェック — テスト例がすべての可能なデータ補完において予測的に確実かどうかを判断すること。 (Q2) カウント — 各ラベルをサポートする分類器の数を計算すること。
• 幾何学的および組合せ的性質を活用して、指数的サイズの可能なワールド上で近傍法分類器に対して線形時間および多項式時間のアルゴリズムを構築する。
• CP を活用して、検証セットの確実性に与える影響に基づき、どの訓練例をクリーニングするかを優先順位付けする、新しいデータクリーニングフレームワーク CPClean を設計する。
• 検証セットを用いて、クリーニングによって最も多くの検証インスタンスが CP になるように、影響が大きい例を特定する。これにより、必要なクリーニング作業量を最小限に抑える。
• 人間が関与するオラクルを用いて、CP 分析に従って修理を検証および適用し、1 ステップあたりの精度向上を最大化する。

実験結果

リサーチクエスチョン

• RQ1 データの不完全性が存在する中でも、機械学習の予測が保証される状況を形式的に定義することは可能か？
• RQ2 すべての可能なデータ補完において、テスト例が予測的に確実（CP された）かどうかを効率的に判断することは可能か？
• RQ3 不確実な例に対して、各予測ラベルをサポートする可能な分類器の数を効率的に数えることは可能か？
• RQ4 CP を用いたデータクリーニングは、ランダムまたはヒューリスティックベースのクリーニング戦略に比べ、精度および作業量の面で優れているか？

主な発見

• Supreme データセットでは、CPClean は訓練例のわずか 15% のクリーニングで、すべての検証例を CP にできるのに対し、RandomClean ではほぼすべての例をクリーニングする必要がある。
• Bank データセットでは、50% のデータをクリーニングした段階で、CPClean はほぼ 100% の精度ギャップを埋めることができたが、RandomClean では 65% にとどまった。
• 検証セットのサイズはクリーニングの効率および精度ギャップの埋まり具合に影響を与えるが、1K の検証セットで安定した性能が得られることが示された。
• 提案された CP フレームワークにより、指数的サイズの可能なワールド上で近傍法分類器の不完全なデータへの影響を効率的かつスケーラブルに分析できるようになり、多項式時間の解法が可能になった。
• 同じ修復空間において、CP を用いたクリーニング手法は BoostClean や ActiveClean よりも顕著に優れており、人的作業量を減らしながらも、より高い精度向上を達成した。