[논문 리뷰] The use of the Higher Order Singular Value Decomposition of the 4-cumulant's tensors in features selection and outlier detection

Krzysztof Domino|arXiv (Cornell University)|2018. 03. 29.

Computational Physics and Python Applications인용 수 1

한 줄 요약

이 논문은 4차 누적 텐서의 고차원 특이값 분해(HOSVD)를 사용하여 특징 선택과 이상치 탐지의 새로운 방법을 제안한다. 이상치는 t-Student 코풀라로 모델링하고, 정상 데이터는 정규분포로 모델링한다. 이 방법은 금융 시장의 급격한 변동기 동안 Reed-Xiaoli(RX) 검출기보다 뛰어난 성능을 보이며, GitHub에 오픈소스 Julia 구현 코드가 제공된다.

ABSTRACT

We use the High Order Singular Value Decomposition (HOSVD) of higher order cumulant tensors to perform features selection and outlier detection on multivariate data. In both cases, a target subset of data (outlier subset) has higher-order dependencies. In our case, those dependencies are modeled by the t-Student copula. Apart from a target subset, ordinary data are modeled by a Gaussian multivariate distribution. This scenario is a typical setting in real life data processing, where the Central Limit Theorem holds in general but breaks for unusual events (outliers). In the presented approach, we collect information about higher order dependencies utilizing the 4th cumulant's tensor. It makes the approach more general comparing with recently developed 3rd cumulant's tensor approach. If the 3rd cumulant's tensor of data is non-zero in most cases the 4th should be non-zero as well. However, the opposite is not true in many cases, consider the t-Student copula model as an example. In this paper, through experiment we show the superiority of our method over the Reed-Xiaoli (RX) Detector, that is a well-known outlier detector and can be used as a benchmark. We present the application of our method in a real life financial data analysis. We demonstrate that our method has advantage for detecting outliers being a increases of shares prices during a crisis. Our algorithms are implemented in the modern open source Julia programming language and available on the GitHub.

연구 동기 및 목표

• 다변량 데이터의 고차원 의존성 구조를 더 잘 포착할 수 있도록 제3차 누적 텐서 기반 방법의 한계를 해결하기 위해.
• 정상 데이터는 정규분포를 따르며, 이상치는 고차원 통계적 의존성 특성을 갖는다. 이를 위해 t-Student 코풀라를 사용하여 이상치를 모델링하기 위해.
• 3차 누적 텐서보다 4차 누적 텐서가 더 풍부한 정보를 제공하므로, 이를 활용하여 이상치 탐지 및 특징 선택 성능을 향상시키기 위해.
• 특히 주가가 급격히 상승하는 시장 위기 상황에서 실제 금융 데이터에 대해 이 방법의 효과성을 입증하기 위해.
• 재현 가능 연구 및 실무적 구현을 위해 현대적인 오픈소스 도구인 Julia를 활용한 확장 가능한 구현을 제공하기 위해.

제안 방법

• 다변량 데이터의 4차 누적 텐서에 고차원 특이값 분해(HOSVD)를 적용하여 구조적 패턴을 추출한다.
• 이상치 집합은 t-Student 코풀라로, 정상 데이터는 정규분포로 고차원 의존성을 모델링한다.
• 3차 텐서가 간과할 수 있는 비정규성 및 비타원형 의존성도 4차 누적 텐서가 포착하여, 복잡한 이상치 패턴에 대한 민감도를 향상시킨다.
• 특징 선택은 HOSVD 분해에서 고유값이 높은 성분을 식별함으로써 수행되며, 이는 주요 의존성 구조를 의미한다.
• 정규분포 가정 하에 기대되는 4차 누적 텐서의 구조에서의 이탈 정도를 측정하여 이상치 탐지가 이루어진다.
• 고성능 계산을 위해 Julia로 알고리즘을 구현하였으며, 재현 가능성을 확보하기 위해 GitHub에 공개하였다.

실험 결과

연구 질문

• RQ1 3차 텐서보다 4차 누적 텐서가 다변량 데이터의 고차원 의존성 구조를 더 효과적으로 포착할 수 있는가?
• RQ2 4차 누적 텐서의 HOSVD는 Reed-Xiaoli(RX) 검출기보다 이상치 탐지 성능을 향상시키는가?
• RQ3 특히 주가가 급격히 상승하는 상황에서 이 방법은 금융 이상치를 얼마나 잘 탐지하는가?
• RQ4 t-Student 코풀라 모델은 이상치 집합의 고차원 의존성 특성을 적절히 표현하는가?
• RQ5 현대 오픈소스 도구인 Julia를 활용해 제안된 방법을 효과적으로 구현하고 확장할 수 있는가?

주요 결과

• 제안된 방법은 특히 비정규성과 복잡한 의존성 특성을 띤 금융 데이터에서 Reed-Xiaoli(RX) 검출기보다 뛰어난 이상치 탐지 성능을 보였다.
• 4차 누적 텐서는 제3차 텐서가 간과할 수 있는 고차원 의존성 특성을 포착하며, 특히 t-Student 코풀라 모델 하에서 두드러진다.
• 이 방법은 시장 위기 상황에서 주가가 급격히 상승하는 이상 사건을 성공적으로 식별하였으며, 이는 2차 방법으로서는 종종 간과되는 현상이다.
• 4차 누적 텐서의 HOSVD는 뚜렷한 구조적 의존성을 지닌 성분을 분리함으로써 더 강건한 특징 선택이 가능하게 한다.
• Julia로 구현된 오픈소스 코드는 재현 가능성을 보장하며, 실제 데이터 분석 파이프라인에의 통합을 용이하게 한다.
• 고차원 누적 텐서는 저차원 대비 더 일반적이고 정보량이 풍부한 표현 방식임을 입증하였다.