[論文レビュー] Data Cleaning for Accurate, Fair, and Robust Models: A Big Data - AI Integration Approach

Ki Hyun Tae, Yuji Roh+3 more|arXiv (Cornell University)|Apr 22, 2019

Data Quality and Management被引用数 8

ひとこと要約

この論文では、機械学習におけるモデルの正確性、公平性、耐性を向上させるために、データクリーニング、不平等要因の低減、データの機密性確保を統合した統一フレームワークMLCleanを提案する。エンティティ解決、異常検出、再重み付け技術を密接に統合することで、CensusおよびGerman Creditデータセットにおいて、逐次処理よりも2.2–2.5倍高速な実行時間で優れた性能を達成した。

ABSTRACT

The wide use of machine learning is fundamentally changing the software development paradigm (a.k.a. Software 2.0) where data becomes a first-class citizen, on par with code. As machine learning is used in sensitive applications, it becomes imperative that the trained model is accurate, fair, and robust to attacks. While many techniques have been proposed to improve the model training process (in-processing approach) or the trained model itself (post-processing), we argue that the most effective method is to clean the root cause of error: the data the model is trained on (pre-processing). Historically, there are at least three research communities that have been separately studying this problem: data management, machine learning (model fairness), and security. Although a significant amount of research has been done by each community, ultimately the same datasets must be preprocessed, and there is little understanding how the techniques relate to each other and can possibly be integrated. We contend that it is time to extend the notion of data cleaning for modern machine learning needs. We identify dependencies among the data preprocessing techniques and propose MLClean, a unified data cleaning framework that integrates the techniques and helps train accurate and fair models. This work is part of a broader trend of Big data -- Artificial Intelligence (AI) integration.

研究の動機と目的

• 高リスクな応用分野における正確で、公平かつ耐性のある機械学習モデルの需要が高まっているのに対応する。
• データ管理、公平性、セキュリティの分野から得られるデータ前処理技術の間の依存関係を特定・解決する。
• 従来のデータクリーニング、不平等要因の低減、データの機密性確保を統合した、単一でスケーラブルなフレームワークを統合する。
• モデルの品質を保証するため、後処理のモデル補正よりも、データそのものを前処理することがより効果的であることを実証する。
• モデルの内部構造にアクセスを必要とせず、任意の機械学習モデルと互換性を持つエンドツーエンドのデータ準備を可能にする。

提案手法

• エンティティ解決（重複検出用）、異常検出（攻撃的例の検出用）、例の再重み付け（公平性向上用）の3つの前処理技術を統合する。
• 計算コストを削減するため、異常検出の前に類似データポイントをk-meansクラスタリングでグループ化する。
• 同じ年齢の「Joe」と「Joseph」のような重複をマージするため、エンティティ解決にペアワイズ比較を適用する。
• 例の再重み付けを用いて、学習例の重みを調整し、予測におけるデモグラフィックパラメータの平等性を向上させる。
• モデルをブラックボックスとして扱い、内部構造にアクセスを必要とせず、あらゆるモデルアーキテクチャと互換性を持つ。
• データクリーニングとセキュリティ対策を密接に統合した一貫したパイプラインとして、前処理ステップを順序付け、重複計算を削減する。

実験結果

リサーチクエスチョン

• RQ1 実世界のデータセットにおいて、データクリーニング、不平等要因の低減、データセキュリティ対策技術は、どのように互いに依存しているか？
• RQ2 統一されたフレームワークが、従来のデータクリーニング、不平等要因の低減、攻撃的データ防御を効果的に統合できるか？
• RQ3 統合された前処理において、処理順序がモデルの正確性、公平性、実行時間に与える影響は何か？
• RQ4 前処理ステップを密接に統合することで、モデル性能を損なうことなく、どのように効率性が向上するか？
• RQ5 ブラックボックスでモデルに依存しないフレームワークは、逐次的または独立したアプローチと比較して、どれほど正確性と公平性を向上させられるか？

主な発見

• MLCleanは、CensusおよびGerman Creditデータセットでそれぞれ0.780および0.657のテスト精度を達成し、最良の逐次パイプライン（⟨S,C,M⟩）と同等の性能を示したが、実行時間を2.2–2.5倍短縮した。
• Censusでは公平性比（デモグラフィックパラメータの平等性）が0.684、German Creditでは0.874に向上し、最良の逐次設定と同等の結果を得たが、はるかに高速な実行が可能だった。
• ⟨M,S,C⟩の順序で実行した場合、データクリーニングと公平性低減のステップ間に依存関係があるため、⟨S,C,M⟩よりも低い公平性が得られた。
• MLCleanは、Censusで178.80秒、German Creditで7.72秒の実行時間にまで短縮し、逐次パイプライン⟨S,C,M⟩（391.64秒および19.30秒）を2倍以上に上回る速度で処理した。
• クラスタリングベースの異常検出とエンティティ解決の密接な統合により、重複処理が削減され、スケーラビリティが向上した。
• 個別のデータクリーニング（C）や公平性低減（M）のみを用いたベースライン手法は、独立して使用した場合に最適でない結果を示し、統合された前処理の必要性を浮き彫りにした。