[논문 리뷰] Applications of Signature Methods to Market Anomaly Detection

Erdinç Akyıldırım, Matteo Gambara외 2명|arXiv (Cornell University)|2022. 01. 07.

Anomaly Detection Techniques and Applications인용 수 10

한 줄 요약

이 논문은 금융 시계열에서의 비정상 탐지에 대해 서명 기반 기계학습 접근법을 제안하며, 정확한 서명과 랜덤화 서명을 특징 추출기로 사용한다. 가격, 거래량, 타임스탬프 데이터만을 사용하여 암호화폐 펌프 앤 레이드 사기 행위를 탐지할 때 F₁ 스코어가 최대 88%에 이를 정도로 성능을 달성하여, 레이블이 없거나 조작 패턴에 대한 사전 지식이 없더라도 복잡한 시장 이면을 식별할 수 있음을 보여준다.

ABSTRACT

Anomaly detection is the process of identifying abnormal instances or events in data sets which deviate from the norm significantly. In this study, we propose a signatures based machine learning algorithm to detect rare or unexpected items in a given data set of time series type. We present applications of signature or randomized signature as feature extractors for anomaly detection algorithms; additionally we provide an easy, representation theoretic justification for the construction of randomized signatures. Our first application is based on synthetic data and aims at distinguishing between real and fake trajectories of stock prices, which are indistinguishable by visual inspection. We also show a real life application by using transaction data from the cryptocurrency market. In this case, we are able to identify pump and dump attempts organized on social networks with F1 scores up to 88% by means of our unsupervised learning algorithm, thus achieving results that are close to the state-of-the-art in the field based on supervised learning.

연구 동기 및 목표

• 서명 이론을 활용한 강력하고 비지도 학습 기반의 금융 시계열 이상 탐지 프레임워크를 개발한다.
• 서명이 희귀한 시장 이벤트(예: 펌프 앤 레이드 사기)를 탐지하기 위해 의미 있는 특징을 추출할 수 있는지 평가한다.
• 불균형 데이터 조건 하에서 정확한 서명과 랜덤화 서명의 이상 탐지 성능을 비교한다.
• 공개된 가격 및 거래량 데이터만으로도 복잡한 시장 조작을 탐지할 수 있는 충분한 정보를 내포하고 있음을 입증한다.
• 랜덤화 서명을 특징 공학 도구로 사용하는 데 이론적으로 탄탄한 표현 이론적 근거를 제공한다.

제안 방법

• 논문은 거친 경로 이론에서 유래한 서명 변환을 사용하여 시계열 경로를 비선형 역학을 반영하는 다항식 특징으로 인코딩한다.
• 정확한 자unc된 서명과 랜덤화 서명을 모두 적용하여 특징 공간의 표현력을 향상시킨다.
• 랜덤화 서명은 경로에 대한 랜덤 프로젝션을 통해 구성되며, 표현 이론에 의해 이론적으로 정당화된 전체 서명에 대한 계산적으로 효율적인 근사치를 제공한다.
• 서명 특징은 일반적인 비지도 이상 탐지 알고리즘인 이상 숲(Isolation Forest)과 최소 공분산 결정(MCD)에 입력된다.
• 방법은 합성 주가 경로와 실제 암호화폐 거래 데이터를 대상으로 평가되며, F₁, 정밀도, 재현율을 통해 성능을 측정한다.
• 저자들은 시장 마이크로스트럭처에서 실시간 이상 탐지를 시뮬레이션하기 위해 3, 6, 또는 14개 기간의 탐지 윈도우를 사용한다.

실험 결과

연구 질문

• RQ1 원시 가격 및 거래량 특징에 비해 서명 기반 특징 추출이 금융 시계열에서 비지도 이상 탐지 성능을 향상시키는가?
• RQ2 시장 이상을 탐지할 때 랜덤화 서명은 정확한 자르기 서명에 비해 어떻게 비교되는가?
• RQ3 비지도 모델이 공개 거래 데이터만을 사용하여 펌프 앤 레이드 사기를 어느 정도 탐지할 수 있는가?
• RQ4 서명 방법이 그들의 구조에 대한 사전 지식 없이도 복잡한 조작 패tern을 탐지할 수 있도록 충분한 정보를 유지하는가?
• RQ5 랜덤화 서명의 표현 이론적 성질이 그들이 안정적이고 효과적인 특징 추출기로 사용될 수 있음을 정당화하는가?

주요 결과

• 제안된 방법은 가격, 거래량, 타임스탬프 데이터만을 사용하여 암호화폐 시장에서 펌프 앤 레이드 사기를 탐지할 때 F₁ 스코어 88%를 기록하여 최신의 지도 학습 기반 방법과 견줄 만한 성능을 보였다.
• 랜덤화 서명은 정확한 자르기 서명과 유사한 성능을 보였으며, 3기간 윈도우에서는 F₁ 스코어 86%, 6기간 윈도우에서는 82%를 기록하여 스케일러블한 대안으로서의 타당성을 확인했다.
• 서명을 사용한 결과, 원시 가격 및 거래량 급등에 의존하는 기준 모델에 비해 이상 탐지 성능이 크게 향상되어 서명이 더 풍부한 시간적 역학을 포착하고 있음을 시사한다.
• 결과는 모든 이상 조작 탐지에 필요한 정보가 역사적 시계열 데이터에 암묵적으로 포함되어 있음을 시사하며, 암호화폐 시장의 효율성을 뒷받침한다.
• 정확한 서명과 랜덤화 서명 간의 작은 성능 격차는 랜덤화 서명이 강력한 근사치로 작용할 수 있음을 경험적으로 검증하며, 이론적 프레임워크를 뒷받침한다.
• 이상 숲과 MCD 기반 모델 모두 서명 특징의 도입으로 이점을 얻었으며, 이상 숲은 탐지 윈도우 전반에서 평균적으로 더 높은 F₁ 스코어를 기록했다.