[논문 리뷰] One-Class Kernel Spectral Regression for Outlier Detection.

Shervin Rahimzadeh Arashloo, Josef Kittler|arXiv (Cornell University)|2018. 07. 03.

Anomaly Detection Techniques and Applications인용 수 8

한 줄 요약

이 논문은 재생 커널 힐버트 공간에서 레일리 몫 최적화 문제로 이상치 탐지를 공식화하는 비선형 일종 분류기인 One-Class Kernel Spectral Regression(OKSR)을 제안한다. 스펙트럼 회귀와 커널 트릭을 활용함으로써 OKSR는 커널 행렬 계산에 의해 지배되는 낮은 복잡도로 효율적인 계산을 달성하며, 이는 증분 학습, 선택적 음성 예외값 보정을 통한 비지도 학습, 그리고 향상된 이상치 탐지에 유리한 비선형 특징 공간 매핑을 가능하게 한다.

ABSTRACT

The paper introduces a new efficient nonlinear one-class classifier formulated as the Rayleigh quotient criterion optimisation. The method, operating in a reproducing kernel Hilbert subspace, minimises the scatter of target distribution along an optimal projection direction while at the same time keeping projections of positive observations distant from the mean of the negative class. We provide a graph embedding view of the problem which can then be solved efficiently using the spectral regression approach. In this sense, unlike previous similar methods which often require costly eigen-computations of dense matrices, the proposed approach casts the problem under consideration into a regression framework which is computationally more efficient. In particular, it is shown that the dominant complexity of the proposed method is the complexity of computing the kernel matrix. Additional appealing characteristics of the proposed one-class classifier are: 1-the ability to be trained in an incremental fashion (allowing for application in streaming data scenarios while also reducing the computational complexity in a non-streaming operation mode); 2-being unsupervised, but providing the option for refining the solution using negative training examples, when available; Last but not least, 3-the use of the kernel trick which facilitates a nonlinear mapping of the data into a high-dimensional feature space to seek better solutions.

연구 동기 및 목표

• 밀도 높은 행렬의 고유값 분해를 비용이 많이 드는 방식으로 피하는 동시에 높은 탐지 정확도를 유지할 수 있는 계산적으로 효율적인 비선형 일종 분류기를 개발하는 것.
• 배치 환경에서도 높은 계산 비용을 유발하지 않으면서 스트리밍 데이터 응용 프로그램에 적합한 증분 학습을 가능하게 하는 것.
• 비지도 학습을 지원하는 유연한 프레임워크를 제공하면서도, 가용한 음성 예외값이 있을 경우에 한해 결합하여 결정 경계를 보완할 수 있도록 하는 것.
• 데이터를 고차원 특징 공간으로 매핑하기 위해 커널 트릭을 활용하여 이상치의 비선형 분離 능력을 향상시키는 것.
• 일종 분류 문제를 그래프 임bedding 관점에서 재구성함으로써 최적화와 해석 가능성의 향상을 도모하는 것.

제안 방법

• 이 방법은 재생 커널 힐버트 공간 내에서 레일리 몫 최적화 문제로 이상치 탐지를 공식화하여, 목표 산란을 최소화하고 음성 클래스 평균에서의 거리를 최대화하는 것을 목표로 한다.
• 비용이 많이 드는 밀도 높은 행렬의 고유값 분해에 의존도를 줄이기 위해 스펙트럼 회귀 프레임워크를 적용하여 최적화 문제를 회귀 문제로 변환한다.
• 주요 계산 비용은 커널 행렬 계산이며, 이는 대규모 데이터에 대해 기존의 고유값 해소기법보다 더 효율적이다.
• 해당 방법은 전체 재학습 없이도 솔루션을 업데이트할 수 있도록 하여 증분 학습을 자연스럽게 지원하며, 스트리밍 데이터 환경에 적합하다.
• 선택적으로 음성 학습 예외값을 통합하여, 이러한 데이터가 가용할 경우에 한해 결정 경계를 보완할 수 있다.
• 커널 트릭을 통해 입력 데이터를 고차원 특징 공간으로 비선형 매핑할 수 있으며, 이는 모델이 복잡한 이상치 패턴을 탐지하는 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 비용이 많이 드는 고유값 분해를 피하면서도 높은 탐지 정확도를 유지할 수 있는 일종 분류기를 설계할 수 있는가?
• RQ2 스펙트럼 회귀는 커널 유도 특징 공간 내에서 일종 이상치 탐지에 효과적으로 적용될 수 있는가?
• RQ3 실시간 또는 스트리밍 데이터 응용 프로그램을 위한 비선형 일종 분류기에 대해 증분 학습을 얼마나 효과적으로 통합할 수 있는가?
• RQ4 음성 예외값의 포함 여부가 비지도 일종 분류기의 성능과 강건성에 어떤 영향을 미치는가?
• RQ5 일종 문제의 그래프 임bedding 해석이 기존 공식화에 비해 더 안정적이고 효율적인 최적화를 이끌 수 있는가?

주요 결과

• 제안된 방법은 커널 행렬 계산에 의해 지배되는 복잡도로 축소함으로써 밀도 높은 행렬의 고유값 분해를 피함으로써 계산 효율성을 달성한다.
• 스펙트럼 회귀 공식화는 기존의 고유값 해소기를 기반으로 하는 전통적 일종 방법에 비해 더 스케일업 가능하고 효율적인 최적화 과정을 가능하게 한다.
• 증분 학습이 기본적으로 지원되어 전체 재학습 없이도 스트리밍 데이터 시나리오에서 효율적으로 적응할 수 있다.
• 기본적으로 비지도 학습을 유지하지만, 음성 예외값이 가용할 경우에 한해 결정 경계 품질을 향상시킬 수 있다.
• 커널 트릭의 사용은 고차원 특징 공간으로의 효과적인 비선형 매핑을 가능하게 하여 모델이 복잡한 이상치 패턴을 탐지하는 능력을 향상시킨다.
• 그래프 임bedding 해석은 최적화에 대한 견고한 이론적 기반을 제공하며, 이는 기존의 스펙트럼 학습 원리와의 연관성을 강화한다.