[논문 리뷰] Fast Incremental SVDD Learning Algorithm with the Gaussian Kernel

Hansi Jiang, Haoyu Wang외 3명|arXiv (Cornell University)|2017. 09. 01.

Anomaly Detection Techniques and Applications참고 문헌 8인용 수 15

한 줄 요약

이 논문은 가우시안 커널을 사용한 서포트 벡터 데이터 기술(SVDD)를 위한 빠른 인크리멘탈 학습 알고리즘인 FISVDD를 제안한다. 행렬 연산과 특성 공간에서 모든 경계 서포트 벡터가 중심으로부터 동일한 거리에 있다는 불변 성질을 활용하여, FISVDD는 각 반복에서 서포트 벡터와 새로운 데이터 포인트만 업데이트함으로써 단계당 O(k²)의 복잡도를 달성한다. 이는 전역 최적에 근접한 성능을 제공하면서도 인크리멘탈 SVM 대비 최대 100배 빠른 속도를 기록한다. 또한 이상치 탐지 정확도를 유지한다.

ABSTRACT

Support vector data description (SVDD) is a machine learning technique that is used for single-class classification and outlier detection. The idea of SVDD is to find a set of support vectors that defines a boundary around data. When dealing with online or large data, existing batch SVDD methods have to be rerun in each iteration. We propose an incremental learning algorithm for SVDD that uses the Gaussian kernel. This algorithm builds on the observation that all support vectors on the boundary have the same distance to the center of sphere in a higher-dimensional feature space as mapped by the Gaussian kernel function. Each iteration involves only the existing support vectors and the new data point. Moreover, the algorithm is based solely on matrix manipulations; the support vectors and their corresponding Lagrange multiplier $α_i$'s are automatically selected and determined in each iteration. It can be seen that the complexity of our algorithm in each iteration is only $O(k^2)$, where $k$ is the number of support vectors. Experimental results on some real data sets indicate that FISVDD demonstrates significant gains in efficiency with almost no loss in either outlier detection accuracy or objective function value.

연구 동기 및 목표

• 대규모 또는 스트리밍 데이터를 처리할 때 배치 및 인크리멘탈 SVDD 방법의 비효율성을 해결하기 위해.
• 계산 비용을 극도로 줄이면서도 높은 정확도를 유지하는 온라인 학습 알고리즘을 개발하기 위해.
• 커널 공간에서 서포트 벡터의 기하학적 불변성을 활용하여 인크리멘탈 업데이트를 단순화하고 가속화하기 위해.
• 최소한의 지연으로 IoT 및 산업 모니터링과 같은 애플리케이션에서 실시간 이상치 탐지 기능을 가능하게 하기 위해.
• 모든 반복 후 내부 포인트를 제거하고 전체 재학습을 방지함으로써 메모리 및 계산 오버헤드를 줄이기 위해.

제안 방법

• FISVDD는 커널 행렬과 그 역행렬의 인크리멘탈 변화를 효율적으로 계산하기 위해 행렬 역행렬 갱신을 사용한다.
• 역행렬 A⁻¹의 행 합의 부호에 기반해 서포트 벡터와 내부 포인트를 식별한다.
• 라그랑주 승수 αᵢ는 A⁻¹의 행 합의 성분 크기의 크기에 의해 결정된다.
• 알고리즘은 각 반복 후 내부 포인트를 제거하고 오직 서포트 벡터만 유지함으로써 저장 및 계산 부담을 줄인다.
• 핵심 통찰은 가우시안 커널이 유도하는 고차원 특성 공간에서 모든 서포트 벡터가 중심으로부터 동일한 거리에 위치한다는 점이다.
• 이 방법은 본질적으로 인크리멘탈이다: 각 업데이트는 전체 데이터셋이 아닌 현재의 서포트 벡터와 새로운 데이터 포인트에만 의존한다.

실험 결과

연구 질문

• RQ1 인크리멘탈 SVDD 알고리즘이 계산 비용을 크게 줄이면서도 근사 전역 최적 성능을 달성할 수 있는가?
• RQ2 커널 공간에서 서포트 벡터의 기하학적 불변성을 어떻게 활용하여 학습을 단순화하고 가속화할 수 있는가?
• RQ3 모델 정확도가 저하되지 않도록 각 반복 후 내부 포인트를 얼마나 많이 제거할 수 있는가?
• RQ4 기존의 인크리멘탈 SVM 기반 SVDD 방법과 비교해 제안된 방법은 효율성과 정확도 면에서 어떻게 다른가?
• RQ5 행렬 역행렬 갱신을 통해 단계당 O(k²)의 복잡도를 달성하면서도 모델의 안정성과 수렴성을 유지할 수 있는가?

주요 결과

• FISVDD는 인크리멘탈 SVM 대비 최대 100배 빠른 속도를 기록했으며, Shuttle 데이터셋에서 학습 시간은 251.01초, 인크리멘탈 SVM는 22,923.57초였다.
• FISVDD의 목적 함수 값은 인크리멘탈 SVM 기준선과 0.05% 이내로 근사 전역 최적성을 보였다.
• CoverType 데이터셋에서 FISVDD는 19.47초에 학습을 완료했고, 인크리멘탈 SVM는 12,954.81초였으며, 목적 함수 값의 차이는 0.0027%에 불과했다.
• 모든 데이터셋에서 FISVDD와 인크리멘탈 SVM 간의 이상치 탐지 F-1 측정치는 거의 동일했으며, 내부 포인트를 제거한 후에도 변함이 없었다.
• FISVDD와 인크리멘탈 SVM 간의 서포트 벡터 수는 일관되게 유지되어 모델의 밀도가 떨어지지 않았다.
• FISVDD는 고차원(예: CoverType, 10개 변수) 및 저차원(예: SMTP, 3개 변수) 데이터 유형을 포함한 다양한 데이터 유형에서 뛰어난 강건성을 보였다.