[논문 리뷰] Open Category Detection with PAC Guarantees

Si Liu, Risheek Garrepalli외 3명|arXiv (Cornell University)|2018. 08. 01.

Domain Adaptation and Few-Shot Learning인용 수 41

한 줄 요약

이 논문은 두 세트 학습 시나리오(깨끗한 명목 데이터와 이물 비율의 상한이 알려진 오염 혼합 데이터)에서 PAC 스타일 보증 하에 오픈 카테고리 탐지(Open category detection)를 연구합니다. 이상 점수로 임계값을 설정하는 방법을 제시하여 사용자가 지정한 이물 탐지율을 달성하고 유한 표본 보장을 평가합니다.

ABSTRACT

Open category detection is the problem of detecting "alien" test instances that belong to categories or classes that were not present in the training data. In many applications, reliably detecting such aliens is central to ensuring the safety and accuracy of test set predictions. Unfortunately, there are no algorithms that provide theoretical guarantees on their ability to detect aliens under general assumptions. Further, while there are algorithms for open category detection, there are few empirical results that directly report alien detection rates. Thus, there are significant theoretical and empirical gaps in our understanding of open category detection. In this paper, we take a step toward addressing this gap by studying a simple, but practically-relevant variant of open category detection. In our setting, we are provided with a "clean" training set that contains only the target categories of interest and an unlabeled "contaminated" training set that contains a fraction $α$ of alien examples. Under the assumption that we know an upper bound on $α$, we develop an algorithm with PAC-style guarantees on the alien detection rate, while aiming to minimize false alarms. Empirical results on synthetic and standard benchmark datasets demonstrate the regimes in which the algorithm can be effective and provide a baseline for further advancements.

연구 동기 및 목표

• 오픈 카테고리 탐지를 Aliens가 보장된 비율로 탐지해야 하는 안전-critical 문제로서 동기를 부여합니다.
• 간단한 이중 학습 세트 구성 제안: 깨끗한 명목 데이터와 이물 비율 α의 상한이 있는 오염 데이터.
• 사용자 지정 이물 탐지 비율을 보장하면서 오탐을 제어하는 PAC 스타일 방법을 개발합니다.
• 유한 표본 보장을 제공하고 α의 상한이 성능 및 데이터 요구사항에 미치는 영향을 보여줍니다.
• 합성 및 표준 데이터 세트에서 이상 탐지기를 사용하여 접근 방식을 벤치마크합니다.

제안 방법

• Nominal(F0), alien(Fa), 혼합(Fm) 데이터에 대한 이상 점수 분포를 정의하고 α를 알고 있을 때 Fm과 F0로부터 Fa를 도출합니다.
• S0와 Sm으로부터 경험적 CDF를 계산하고 Fa_hat(x) = (Fm_hat(x) − (1−α)F0_hat(x)) / α 로 Fa_hat를 경험적 이물 CDF로 형성합니다.
• 1−q 이물 재현율을 달성하기 위해 Fa_hat(τ̂_q) ≤ q인 가장 큰 점수 τ̂_q를 결정합니다.
• 임계값 설정 전에 Fa_hat가 유효한 CDF가 되도록 단조화(isotonization)와 clipping을 적용합니다.
• 대상 재현율 1−η를 달성하기 위해 필요한 샘플 크기 n을 ε와 δ에 대해 보장하는 유한 표본 보장(정리 1)을 제공합니다. n = O((1/ε^2 α^2) log(1/δ))로 표기합니다.
• α를 허용 가능한 이상 탐지기(F0 ≤ Fm 모든 x에 대해)를 사용하여 완화하는 경우의 논의와 보장에 대한 시사점을 논의합니다.

실험 결과

연구 질문

• RQ1 두 학습 세트 설정에서 알파 α의 상한이 알려진 경우 PAC 스타일 보장을 달성할 수 있는가?
• RQ2 이상 탐지기의 품질이 유한 표본 하에서 이물 재현율과 명목 오탐율에 어떤 영향을 미치는가?
• RQ3 샘플 크기는 목표 이물 탐지율 보장을 위해 얼마나 필요한가, 그리고 α를 과대추정하는 것이 성능에 어떤 영향을 미치는가?
• RQ4 제안된 보장이 합성 및 표준 벤치마크 데이터 세트에서 서로 다른 α 및 n에 대해 실험적으로 어떻게 수행되는가?

주요 결과

• 제안된 임계값 방법은 α가 알려지거나 상한으로 제한될 때 유한 표본 보장과 함께 사용자가 지정한 이물 탐지율을 달성할 수 있습니다.
• 재현율은 더 큰 n과 더 큰 α에서 향상되며, 거짓 양성률(FPR)은 이상 탐지기 품질 및 도메인에 따라 달라지며 벤치마크에서 비트 간 비교가 관찰됩니다.
• 필요한 샘플 크기는 1/(ε^2 α^2) 및 log(1/δ)에 따라 다항적으로 증가하므로 α가 감소하면 데이터 필요성이 증가합니다.
• 다수의 UCI 및 비전 데이터 세트에서 큰 n에 대해 재현율이 1−q에 가깝게 나타났으나 작은 데이터 세트나 매우 작은 α의 경우 여전히 차이가 남.
• α를 과대추정하면 재현율보다 FPR이 더 악화되므로 정확한 α 추정의 중요성이 강조됩니다.