[논문 리뷰] Kernel-based Outlier Detection using the Inverse Christoffel Function

Armin Askari, Forest Yang외 1명|arXiv (Cornell University)|2018. 06. 18.

Anomaly Detection Techniques and Applications참고 문헌 11인용 수 3

한 줄 요약

이 논문은 고차원 데이터에서 효율적인 계산을 가능하게 하기 위해 역크리스토퍼 함수의 커널화된 변종(KIC)을 제안한다. 기존의 계산 비용이 지나치게 높은 모멘트 행렬의 역행렬을 커널에 기반한 공식으로 대체함으로써, 고차원 데이터에서도 효율적인 이상치 탐지가 가능해진다. 이 방법은 기준 데이터셋 15개에서 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성한다. KIC2-RBF는 초모수 조정 후 평균 AUPRC가 0.65이며, 특정 데이터셋에서는 최대 0.979에 이를 정도로 뛰어난 성능을 보였다.

ABSTRACT

Outlier detection methods have become increasingly relevant in recent years due to increased security concerns and because of its vast application to different fields. Recently, Pauwels and Lasserre (2016) noticed that the sublevel sets of the inverse Christoffel function accurately depict the shape of a cloud of data using a sum-of-squares polynomial and can be used to perform outlier detection. In this work, we propose a kernelized variant of the inverse Christoffel function that makes it computationally tractable for data sets with a large number of features. We compare our approach to current methods on 15 different data sets and achieve the best average area under the precision recall curve (AUPRC) score, the best average rank and the lowest root mean square deviation.

연구 동기 및 목표

• 기존의 역크리스토퍼 함수 방법이 모멘트 행렬 크기의 지수적 증가로 인해 고차원 환경에서 계산이 불가능한 문제를 해결하기 위해.
• 원래 방법이 특징 수가 수백 개에 이르는 데이터셋에서 메모리 제약으로 실패하는 상황에서, 효율적인 이상치 탐지를 가능하게 하는 커널화된 공식을 개발하기 위해.
• RBF 커널을 포함한 커널 방법을 활용하여 무한차원 특징 공간에 접근하고 모델링의 유연성을 향상시키기 위해.
• AUPRC, 평균 순위, RMSD와 같은 지표를 사용하여 표준 이상치 탐지 벤치마크에서 뛰어난 성능을 입증하기 위해.
• ρI 항을 통한 정규화가 탐지 정확도를 향상시키고 강인성을 증가시킨다는 것을 보여주기 위해.

제안 방법

• 전체 모멘트 행렬의 역행렬을 대체하기 위해 역크리스토퍼 함수의 하한을 제안하며, 이를 정규화된 최소 제곱 공식으로 변환한다.
• 커널 행렬을 사용해 표현함으로써 임의의 정재성 양성 커널을 사용할 수 있도록 하는 커널화된 역크리스토퍼 함수(KIC)를 유도한다.
• RBF 커널을 사용해 데이터를 무한차원 공간으로 매핑함으로써, 원래 공식에서는 구현이 불가능하지만 커널 트릭을 통해 구현 가능한 상태로 만든다.
• 역행렬의 안정성과 일반화 성능 향상을 위해 티코노프 유형의 정규화 항(ρI)을 적용하며, ρ는 각 데이터셋에 맞게 조정된다.
• 역크리스토퍼 함수를 커널 행렬의 역행렬을 통한 이중 공식으로 계산함으로써, 특징 수에 대해 지수적 복잡도에서 데이터 포인트 수에 대해 세제곱 복잡도로 계산 복잡도를 감소시킨다.
• 두 가지 변종을 도입한다: KIC2(ρ = C)와 KIC-RBF(RBF 커널 사용)이며, 각각 ρ와 σ에 대한 초모수 조정을 통해 최적화된다.

실험 결과

연구 질문

• RQ1 역크리스토퍼 함수는 고차원 데이터에서 효율적인 계산이 가능하도록 재구성될 수 있는가?
• RQ2 역크리스토퍼 함수의 커널화는 RBF 커널이 유도하는 더 풍부한 특징 공간에 접근할 수 있는가?
• RQ3 유도된 커널화된 방법은 표준 벤치마크에서 최신 기술 수준의 방법들을 능가하는 이상치 탐지 성능을 달성할 수 있는가?
• RQ4 ρI 항을 통한 정규화는 이상치 탐지 과정의 강인성과 정확도에 어떤 영향을 미치는가?
• RQ5 이 방법은 다양한 유형의 데이터, 즉 합성 데이터와 실제 세계 데이터를 포함한 다양한 특징 차원을 가진 데이터에 대해 일반화 가능한가?

주요 결과

• KIC 방법은 원래의 역크리스토퍼 함수 방법이 메모리 제약으로 실패하는 784개의 특징을 가진 데이터셋(예: MNIST)에서도 성공적으로 실행된다.
• KIC2는 15개의 기준 벤치마크 데이터셋에서 가장 높은 평균 AUPRC(0.65)와 가장 낮은 RMSD를 기록했다.
• KIC2-RBF는 평균 순위가 가장 우수하여 다양한 데이터셋에서 전체적으로 뛰어난 성능을 보였다.
• 최적의 초모수 조정을 통해 KIC2-RBF는 Mfeat2에서 AUPRC 0.979, Isolet에서 0.963, Optdigits에서 0.722를 달성했으며, 본문 표의 최고 성능 결과를 크게 뛰어넘었다.
• RBF 커널 변종은 다른 방법들이 성능을 못 내는 데이터셋에서 특히 뛰어난 성능을 보였으며, 이는 복잡한 비선형 데이터 구조에 잘 맞는다는 것을 시사한다.
• KSP 및 KIC 방법의 필터링된 변종은 성능이 열등했으며, 이는 필터링 단계가 특정 데이터 유형에서 성능을 떨어뜨릴 수 있음을 시사한다.