[논문 리뷰] Failing Loudly: An Empirical Study of Methods for Detecting Dataset Shift

Stephan Rabanser, Stephan Günnemann외 1명|arXiv (Cornell University)|2018. 10. 29.

Anomaly Detection Techniques and Applications참고 문헌 58인용 수 140

한 줄 요약

이 논문은 차원 축소 및 두 샘플 테스트를 사용한 데이터셋 시프트 탐지 방법을 경험적으로 비교하고, 소프트 예측을 가진 블랙박스 시프트 탐지기가 대부분의 시프트에서 최적의 성능을 발휘하며, 실무상 단변수 테스트가 다변수 테스트와 비슷한 성능을 낼 수 있음을 보여준다. 또한 도메인 구분 분류기를 통해 시프트 악성도를 분석한다.

ABSTRACT

We might hope that when faced with unexpected inputs, well-designed software systems would fire off warnings. Machine learning (ML) systems, however, which depend strongly on properties of their inputs (e.g. the i.i.d. assumption), tend to fail silently. This paper explores the problem of building ML systems that fail loudly, investigating methods for detecting dataset shift, identifying exemplars that most typify the shift, and quantifying shift malignancy. We focus on several datasets and various perturbations to both covariates and label distributions with varying magnitudes and fractions of data affected. Interestingly, we show that across the dataset shifts that we explore, a two-sample-testing-based approach, using pre-trained classifiers for dimensionality reduction, performs best. Moreover, we demonstrate that domain-discriminating approaches tend to be helpful for characterizing shifts qualitatively and determining if they are harmful.

연구 동기 및 목표

• ML 시스템에서 보이지 않는 실패를 피하기 위해 데이터셋 시프트를 탐지할 필요성을 제고한다.
• 차원 축소와 두 샘플 검정을 결합한 시프트 탐지 파이프라인을 평가한다.
• 다양한 시프트에서 어떤 차원 축소 기법과 검정이 가장 우수한지 식별한다.
• 도메인 구분 분류기를 사용하여 시프트를 정성적으로 특징화하고 시프트 악성도에 대해 논의한다.

제안 방법

• 검정 데이터의 표현을 No Reduction (NoRed), PCA, Sparse Random Projection (SRP), 자동인코더 (TAE, UAE), 그리고 라벨 분류기 (BBSDs, BBSDh)를 포함한 여러 차원 축소(DR) 기법으로 나타낸다.
• 통계적 두 샘플 검정을 적용: 다변수 커널 두 샘플 검정(MMD)과 단변수 검정(Kolmogorov-Smirnov with Bonferroni, Chi-Squared, Binomial).
• BBSDs 및 BBSDh의 경우 분류기 출력물을 DR 표현으로 사용; Classif의 경우 소스와 타깃을 구분하는 도메인 분류기를 학습시키고 그 유의성을 검정한다.
• MMD에 대해 permutation 검정, 다중 차원에 대해 Bonferroni 보정이 있는 KS, 라벨 분포에 대한 카이제곱 검정, 도메인 분류기 정확도에 대한 이항 검정을 사용한다.
• 시프트가 탐지되었을 때 도메인 분류기의 신뢰도(confidence)를 통해 가장 이상치인 샘플을 추출하는 기제를 제공한다.
• 타깃으로 가장 확실하게 레이블링된 샘플에서 모델 정확도를 비교하여 시프트 악성도를 평가하는 실용 프레임워크를 논의한다.

실험 결과

연구 질문

• RQ1 차원 축소된 표현을 사용하여 소스와 타깃 데이터 간의 분포 시프트를 두 샘플 검정 프레임워크로 탐지할 수 있는가?
• RQ2 다양한 교란에 걸쳐 가장 강력한 시프트 탐지 성능을 내는 차원 축소 기법은 무엇인가?
• RQ3 고차원 시프트를 탐지하는 데 있어 단변수와 다변수 두 샘플 검정은 어떻게 비교되는가?
• RQ4 도메인 구분 분류기가 탐지된 시프트의 유형과 악성도를 특성화하는 데 도움이 되는가?
• RQ5 가장 이상한 샘플을 식별하고 시프트가 모델 성능에 미치는 영향을 추정하는 실용성은 어느 정도인가?

주요 결과

• BBSDs(소프트 예측)는 여러 시프트에 걸쳐 강력한 시프트 탐지 성능을 달성하며, 종종 다른 DR 방법보다 우수하다.
• 다수 차원에 대한 단변수 검정과 Bonferroni 보정은 다변수 커널 검정의 효과성과 대등하다.
• UAE(오토인코더)와 TAE(오토인코더)가 다변수 검정에서 최상으로 수행하며, 해당 설정에서 다른 DR 방법을 능가한다.
• 도메인 분류기 기반 접근법은 정성적 통찰을 제공하고 가장 이상한 샘플의 식별을 가능케 하여 시프트 특성화를 돕는다.
• 도메인 예측을 이용한 악성도 탐지기는 시프트가 모델 정확도에 실질적으로 악영향을 주는지 나타낼 수 있으며, 전체 타깃 라벨보다 적은 수의 라벨 예시로도 가능하다.
• 일부 시프트(예: 큰 이미지 회전, 상당한 잡음)는 적은 샘플만으로도 쉽게 탐지되나, 다른 시프트(예: 미세한 교란)는 탐지가 더 어렵다.