[논문 리뷰] Extreme Value Theory for Open Set Classification -- GPD and GEV Classifiers

Edoardo Vignotto, Sebastian Engelke|arXiv (Cornell University)|2018. 08. 29.

Anomaly Detection Techniques and Applications참고 문헌 37인용 수 13

한 줄 요약

이 논문은 극값 이론(EVT)에 기반한 두 가지 새로운 커널 프리(open set) 분류기인 GPD 및 GEV 분류기를 제안한다. 이들은 클래스 간 거리의 꼬리 행동을 모델링하여 알려지지 않은 클래스를 탐지한다. 기하학적 성질에 의존하는 Extreme Value Machine(EVM)과 달리, 기하학적 성질이 잘못 해석될 경우 실패하는 EVM와는 달리, 이러한 방법들은 渐近적(EVT) 근사에 기반하여 알려진 클래스에서 멀리 떨어진 점으로서의 이방자(outlier)를 안정적으로 식별한다. 최소한의 초모수(hyperparameter)와 더불어 빠른 추론 성능을 달성하여 경쟁적인 성능을 보인다.

ABSTRACT

Classification tasks usually assume that all possible classes are present during the training phase. This is restrictive if the algorithm is used over a long time and possibly encounters samples from unknown classes. The recently introduced extreme value machine, a classifier motivated by extreme value theory, addresses this problem and achieves competitive performance in specific cases. We show that this algorithm can fail when the geometries of known and unknown classes differ. To overcome this problem, we propose two new algorithms relying on approximations from extreme value theory. We show the effectiveness of our classifiers in simulations and on the LETTER and MNIST data sets.

연구 동기 및 목표

• 기하학적 성질이 잘못 일치할 경우 실패하는 기존 open set 분류기의 한계를 해결한다.
• 기존 클래스의 기하학적 구조에 의존하지 않는 강건하고 증분적(incremental) open set 분류 방법을 개발한다.
• 단변량 극값 이론을 활용해 테스트 포인트와 학습 데이터 간의 거리 꼬리 분포를 모델링한다.
• 초모수 의존도를 최소화하여 수명 주기 학습(lifelong learning) 환경에서의 실용적 구현을 가능하게 한다.
• 실세계 응용에 적합한 계산 효율성과 확장성을 확보하여 알려지지 않은 클래스 탐지 기능을 제공한다.

제안 방법

• 극값 이론(EVT)을 사용해 알려진 클래스로부터의 테스트 포인트 거리 분포를 모델링하여 이방자를 탐지한다.
• GPDC에서는 일반화된 포아송 분포(GPD)를 사용해 클래스 간 거리의 상단 꼬리 분포를 모델링한다.
• GEVC에서는 일반화된 극값 분포(GEV)를 사용해 최대 거리 통계를 모델링한다.
• 적합된 GPD 또는 GEV 분포의 분위수 기반 임계값을 정의하여 알려진 클래스와 알려지지 않은 클래스를 구분한다.
• 하나 또는 초모수 없이(예: GPDC의 경우 k 값은 EVT 원칙에 따라 선택됨) 초모수를 최소화하여 튜닝 복잡도를 낮춘다.
• 새로운 학습 데이터 도착 시 극값 거리 통계만 갱신함으로써 증분적 적응 능력을 확보한다.

실험 결과

연구 질문

• RQ1 기하학적 성질이 오해를 낳을 경우, 클래스 간 거리의 EVT 기반 꼬리 모델링이 open set 분류의 강건성을 향상시킬 수 있는가?
• RQ2 기하학적 불일치 상황에서 GPDC 및 GEVC는 EVM 및 One-Class SVM에 비해 알려지지 않은 클래스 탐지에 얼마나 효과적인가?
• RQ3 EVT 기반 분류기는 얼마나 적은 초모수 튜닝으로도 높은 성능을 달성할 수 있는가?
• RQ4 극값 거리 통계의 사용이 다양한 데이터 분포에서 open set 인식의 일반화 성능을 향상시키는가?
• RQ5 이 분류기는 재학습 없이 증분 학습 프레임워크에서 효율적으로 갱신될 수 있는가?

주요 결과

• thyroid 데이터셋에서 GPDC와 GEVC는 각각 AUC 0.931과 0.897의 경쟁적 성능을 기록했으며, One-Class SVM(AUC 0.912)를 능가하고 최신 기술 수준에 도달했다.
• GPDC는 극값 거리 비율(k 값, 0.25%에서 10% 범위)이 넓은 영역에서 안정적인 성능을 보였으며, EVT 이론과 일치하는 바, 작은 k 값에서 최적의 성능를 기록했다.
• GEVC는 초모수가 전혀 필요로 하지 않으며, GPDC는 오직 하나의 초모수(k)만 필요로 하여 실용성 면에서 매우 뛰어나다.
• 커널 프리 설계와 효율적인 EVT 기반 임계값 설정 덕분에 추론 시 EVM보다 빠른 계산 속도를 보였다.
• 알려지지 않은 데이터가 알려진 클래스와 기하학적으로 가까이 있을 경우에도 이 방법들은 효과적으로 작동하여 EVM의 핵심 실패 모드를 극복했다.
• 표본 거리의 형태 매개변수에 대한 이론적 결과(정리 4)는 저밀도 영역으로의 외삽 가능성을 뒷받침하며, 강건한 이방자 탐지 기능을 가능하게 한다.