[논문 리뷰] Picket: Self-supervised Data Diagnostics for ML Pipelines

Zifan Liu, Zhechun Zhou외 1명|arXiv (Cornell University)|2020. 06. 08.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

Picket는 표본 데이터에서 체계적 또는 악성 노이즈에 의해 손상된 데이터를 진단하기 위한 자기지도 학습 시스템으로, 표본 데이터에 대한 비지도 딥러닝 모델을 사용하여 훈련 예제와 추론 시 쿼리 포인트의 손상 여부를 감지한다. 이는 훈련 및 배포 단계에서 모델의 강건성을 향상시키며, 다양한 모델과 손상 유형에서 기존 방법보다 뛰어난 데이터 품질 검증 성능을 보인다.

ABSTRACT

Data corruption is an impediment to modern machine learning deployments. Corrupted data can severely bias the learned model and can also lead to invalid inference. We present, Picket, a first-of-its-kind system that enables data diagnostics for machine learning pipelines over tabular data. Picket can safeguard against data corruptions that lead to degradation either during training or deployment. For the training stage, Picket identifies erroneous training examples that can result in a biased model, while for the deployment stage, Picket flags corrupted query points to a trained machine learning model that due to noise will result to incorrect predictions. Picket is built around a novel self-supervised deep learning model for mixed-type tabular data. Learning this model is fully unsupervised to minimize the burden of deployment, and Picket is designed as a plugin that can increase the robustness of any machine learning pipeline. We evaluate Picket on a diverse array of real-world data considering different corruption models that include systematic and adversarial noise. We show that Picket offers consistently accurate diagnostics during both training and deployment of various models ranging from SVMs to neural networks, beating competing methods of data quality validation in machine learning pipelines.

연구 동기 및 목표

• 모델 편향과 잘못된 예측을 유도할 수 있는 머신러닝 파이프라인 내 데이터 손상 문제를 해결한다.
• 라벨이 없는 조건에서도 훈련 및 배포 단계에서 데이터 손상을 탐지할 수 있는 시스템을 개발한다.
• 모델 재학습이 필요 없도록, 완전히 비지도 학습 기반의 접근을 통해 배포 오버헤드를 최소화한다.
• 기존 머신러닝 파이프라인에 재학습 없이도 강건성을 향상시킬 수 있도록 플러그인 호환 아키텍처를 설계한다.
• 다양한 데이터 유형과 손상 모델(예: 악성 및 체계적 노이즈 포함)에 대해 정확한 진단을 가능하게 한다.

제안 방법

• 라벨 없이 혼합형 표본 데이터에 특화된 새로운 자기지도 딥러닝 모델을 활용하여 대표적인 데이터 표현을 학습한다.
• 원본이 손상되지 않은 데이터로 자기지도 모델을 훈련시켜 기저 데이터 분포를 학습하고, 이로부터의 이탈을 탐지한다.
• 학습된 모델을 활용해 훈련 예제와 추론 시 쿼리 포인트의 이상도를 평가한다.
• 이상도 점수가 높은 예제를 훈련 또는 배포 단계에서 잠재적 데이터 손상으로 표시한다.
• Picket를 기존 머신러닝 파이프라인에 플러그인으로 통합하여, 핵심 모델을 수정하지 않고도 실시간 진단이 가능하게 한다.
• 표본 데이터의 혼합형 수치 및 범주형 특성에 대해 대비 학습 원리를 적용하여 표현 학습 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 자기지도 모델은 훈련 및 추론 단계에서 표본 데이터의 손상을 효과적으로 탐지할 수 있는가?
• RQ2 다양한 손상 모델 하에서 Picket의 성능은 기존 데이터 품질 검증 방법과 비교해 어떻게 되는가?
• RQ3 손상된 훈련 데이터로 인한 모델 편향과 예측 오류를 Picket는 어느 정도 줄일 수 있는가?
• RQ4 실제 표본 데이터 세트에서 악성 및 체계적 노이즈에 대해 Picket는 얼마나 강건한가?
• RQ5 SVM 및 신경망을 포함한 다양한 머신러닝 모델에서 Picket는 최소한의 오버헤드로 플러그인 방식으로 배포 가능한가?

주요 결과

• Picket는 편향된 모델 행동을 유도할 수 있는 손상된 훈련 예제를 일관되게 식별한다.
• Picket는 배포 단계에서 잘못된 예측을 유도할 수 있는 노이즈가 있는 쿼리 포인트를 성공적으로 경고한다.
• 다양한 모델과 데이터셋에서 기존의 데이터 품질 검증 방법보다 손상된 데이터 탐지 성능이 뛰어나다.
• 악성 및 체계적 노이즈를 포함한 다양한 손상 모델에서도 Picket는 높은 진단 정확도를 유지한다.
• 자기지도 접근 방식을 통해 라벨 데이터가 필요 없고 주된 머신러닝 모델의 재학습 없이도 효과적인 진단이 가능하다.
• Picket의 플러그인 아키텍처는 기존 머신러닝 파이프라인에 최소한의 오버헤드로 원활하게 통합 가능하다.