[논문 리뷰] Context-Aware Drift Detection

Oliver Cobb, Arnaud Van Looveren|arXiv (Cornell University)|2022. 03. 16.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 최대 조건부 평균 차이(MMD-ADiTT)를 사용하여 특정 맥락 요소(예: 시간대, 모델 예측)에 의해 설명될 수 없는 분포 이탈을 탐지할 수 있는 맥락 인식 드리프트 탐지 프레임워크를 제안한다. 이는 강건하고 校정된 탐지 성능을 제공한다. 실제 시각 작업, 특히 ImageNet 규모 문제에서의 부분집단 드리프트 및 공변수 이탈 탐지에서 기준 방법보다 뛰어난 성능을 보여준다.

ABSTRACT

When monitoring machine learning systems, two-sample tests of homogeneity form the foundation upon which existing approaches to drift detection build. They are used to test for evidence that the distribution underlying recent deployment data differs from that underlying the historical reference data. Often, however, various factors such as time-induced correlation mean that batches of recent deployment data are not expected to form an i.i.d. sample from the historical data distribution. Instead we may wish to test for differences in the distributions conditional on extit{context} that is permitted to change. To facilitate this we borrow machinery from the causal inference domain to develop a more general drift detection framework built upon a foundation of two-sample tests for conditional distributional treatment effects. We recommend a particular instantiation of the framework based on maximum conditional mean discrepancies. We then provide an empirical study demonstrating its effectiveness for various drift detection problems of practical interest, such as detecting drift in the distributions underlying subpopulations of data in a manner that is insensitive to their respective prevalences. The study additionally demonstrates applicability to ImageNet-scale vision problems.

연구 동기 및 목표

• 기존 드리프트 탐지기들이 배포 데이터가 i.i.d.라고 가정하고, 시간대나 모델 예측과 같은 맥락이 자연스럽게 변화할 경우에 실패하는 한계를 해결하기 위해.
• 사용자가 허용되는 변화가 가능한 맥락 변수를 지정할 수 있도록 하는 일반적인 프레임워크를 개발하여, 설명되지 않은 분포 이탈에만 집중하는 탐지 기능을 제공하기 위해.
• 최대 조건부 평균 차이(MMD-ADiTT)를 기반으로 한 프레임워크의 구현체를 제안하고, 보다 뛰어난 校정성과 검정력 향상을 검증하기 위해.
• 실제 문제, 특히 컴퓨터 비전에서의 부분집단 드리프트 및 공변수 이탈에 대해 이 방법의 효과성을 입증하기 위해, ImageNet 규모의 데이터를 사용하여.

제안 방법

• 프레임워크는 두 표본 검정의 동질성 검정을 조건부 분포 처리 효과로 확장하여, 맥락에 따른 드리프트를 함수로 모델링한다.
• 맥락에 조건부로 주어진 조건부 분포의 차이를 측정하기 위해 최대 조건부 평균 차이(MMD-ADiTT)를 통계량으로 사용한다.
• 이 방법은 이미지 데이터에 대해 미리 훈련된 SimCLR 백본에서 추출한 특징에 대해 가우시안 RBF 커널을 적용한 커널 기반 MMD를 사용한다.
• 밀도 추정을 위해 거부 샘플링을 활용하며, 부분집단 비율의 변화에 대응하여 校정성을 유지하는 데 중점을 둔다.
• 프레임워크는 시간대, 부분집단 소속, 모델 예측 등 다양한 맥락 유형을 지원한다.
• 실제 구현체는 실용적 배포를 위해 오픈소스 alibi-detect 라이브러리의 일부로 공개된다.

실험 결과

연구 질문

• RQ1 시간대나 모델 예측 분포와 같은 자연스럽고 허용 가능한 맥락 변화에 대해 드리프트 탐지가 거짓 경고를 증가시키지 않도록 강건하게 유지될 수 있는가?
• RQ2 부분집단 드리프트 탐지 시, 제안된 MMD-ADiTT 방법은 표준 MMD 및 MMD-Sub에 비해 校정성과 검정력 측면에서 어떻게 비교되는가?
• RQ3 맥락 인식 드리프트 탐지가 맥락에 의해 유도되는 데이터 분포 변화에는 민감하지 않으면서, 의미 있는 분포 이탈을 얼마나 잘 탐지할 수 있는가?
• RQ4 실제 컴퓨터 비전 시스템에서 모델 예측에 조건부로 공변수 드리프트를 탐지하는 데 프레임워크는 얼마나 효과적인가?
• RQ5 표본 크기와 부분집단 비율의 변화에 걸쳐, 이 방법이 校정성과 검정력을 유지할 수 있는가?

주요 결과

• MMD-ADiTT는 부분집단 비율이 변화함에 따라 잘 校정된 탐지를 유지하지만, MMD-Sub는 밀도 추정의 불완전성으로 인한 편향으로 인해 점점 더 잘못 校정된다.
• 모든 표본 크기에서 MMD-ADiTT는 MMD-Sub보다 부분집단 평균과 분산의 변화를 유의미하게 높은 통계적 검정력으로 탐지한다.
• 모델 예측의 드리프트에 대해 MMD-ADiTT는 여섯 차원 공간에서의 밀도 추정 조차도 잘 校정된 상태를 유지하지만, MMD-Sub는 校정성을 유지를 실패한다.
• ImageNet의 여섯 초클래스 중 하나 또는 두 개만 드리프트된 경우, MMD-ADiTT는 맥락 기반 이질성에 집중함으로써 표준 MMD보다 검정력이 뛰어나다.
• 세 개 이상의 부분집단이 드리프트할 경우, 표준 MMD와 MMD-ADiTT는 유사한 검정력을 보이며, 필요에 따라 전역 이탈에 민감한 것을 확인한다.
• 프레임워크는 ImageNet 규모의 시각 작업에서 드리프트를 성공적으로 탐지하여, 실세계 배포 모니터링에 대한 확장성과 실용적 관련성을 입증한다.