[論文レビュー] Picket: Self-supervised Data Diagnostics for ML Pipelines

Zifan Liu, Zhechun Zhou+1 more|arXiv (Cornell University)|Jun 8, 2020

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

Picket は、表形式データの機械学習パイプラインにおけるデータ損傷を自己教師ありで診断するシステムであり、システム的または悪意あるノイズによって損傷を受けるトレーニング例やクエリポイントを検出するために、教師なしのディープラーニングモデルを用いる。トレーニングおよびデプロイメントの両段階でモデルのロバスト性を向上させ、多様なモデルや損傷タイプにおいて、既存の手法を上回るデータ品質検証を実現する。

ABSTRACT

Data corruption is an impediment to modern machine learning deployments. Corrupted data can severely bias the learned model and can also lead to invalid inference. We present, Picket, a first-of-its-kind system that enables data diagnostics for machine learning pipelines over tabular data. Picket can safeguard against data corruptions that lead to degradation either during training or deployment. For the training stage, Picket identifies erroneous training examples that can result in a biased model, while for the deployment stage, Picket flags corrupted query points to a trained machine learning model that due to noise will result to incorrect predictions. Picket is built around a novel self-supervised deep learning model for mixed-type tabular data. Learning this model is fully unsupervised to minimize the burden of deployment, and Picket is designed as a plugin that can increase the robustness of any machine learning pipeline. We evaluate Picket on a diverse array of real-world data considering different corruption models that include systematic and adversarial noise. We show that Picket offers consistently accurate diagnostics during both training and deployment of various models ranging from SVMs to neural networks, beating competing methods of data quality validation in machine learning pipelines.

研究の動機と目的

• 機械学習パイプラインにおけるデータ損傷の課題に取り組み、モデルにバイアスを生じさせ、誤った予測を引き起こす要因となること。
• ラベルなしのデータを用いて、モデルのトレーニング段階およびデプロイメント段階でデータ損傷を検出するシステムの開発。
• データ診断に完全に教師なしの学習アプローチを採用することで、デプロイメントのオーバーヘッドを最小限に抑える。
• 既存の機械学習パイプラインに再トレーニングを必要とせず、ロバスト性を向上させることを可能にするプラグイン互換アーキテクチャの設計。
• SVM やニューラルネットワークを含む多様な機械学習モデルにおいて、正確な診断を実現すること、特に悪意あるノイズやシステム的ノイズを含む多様なデータタイプと損傷モデルに対応すること。

提案手法

• ラベルなしで、混合型の表形式データに特化した新しい自己教師ありディープラーニングモデルを活用し、代表的なデータ表現を学習する。
• 元の未損傷データ上で自己教師ありモデルを学習させ、元のデータ分布を学習し、その逸脱を検出する。
• 学習されたモデルを用いて、トレーニング例およびインフェレンス時のクエリポイントの異常度合いをスコア化する。
• 高い異常スコアを持つ例を、トレーニング段階またはデプロイメント段階での潜在的なデータ損傷としてマークする。
• Picket を既存の機械学習パイプラインにプラグインとして統合し、コアモデルを変更せずにリアルタイム診断を可能にする。
• 自己教師ありモデルにコントラスト学習の原則を適用し、数値およびカテゴリカル特徴を併せ持つ表形式データにおける表現学習を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありモデルは、トレーニング段階およびインフェレンス段階の両方で、表形式データにおけるデータ損傷を効果的に検出できるか？
• RQ2 多様な損傷モデル下で、Picket のパフォーマンスは既存のデータ品質検証手法と比べてどの程度優れているか？
• RQ3 Picket は、損傷したトレーニングデータによって引き起こされるモデルバイアスや予測誤差をどの程度低減できるか？
• RQ4 Picket は、実世界の表形式データセットにおける悪意あるノイズやシステム的ノイズに対してどの程度ロバストか？
• RQ5 SVM やニューラルネットワークを含む多様な機械学習モデルに、最小限のオーバーヘッドでプラグインとしてデプロイ可能か？

主な発見

• Picket は、バイアスを生じさせる可能性がある損傷したトレーニング例を一貫して特定する。
• Picket は、デプロイメント段階で誤った予測を引き起こす可能性があるノイズの強いクエリポイントを効果的に特定する。
• 複数のモデルやデータセットにおいて、競合するデータ品質検証手法を上回る性能でデータ損傷を検出する。
• Picket は、悪意あるノイズやシステム的ノイズを含む多様な損傷モデルにおいても高い診断精度を維持する。
• 自己教師ありアプローチにより、ラベル付きデータや主モデルの再トレーニングを必要とせず、効果的な診断が可能になる。
• Picket のプラグインアーキテクチャにより、既存の機械学習パイプラインへのシームレスな統合が可能となり、デプロイメントのオーバーヘッドが最小限に抑えられる。