[논문 리뷰] Clustering Approaches for Financial Data Analysis: a Survey

Fan Cai, Nhien‐An Le‐Khac외 1명|arXiv (Cornell University)|2016. 09. 04.

Data Stream Mining Techniques인용 수 38

한 줄 요약

이 종합 검토는 금융 데이터 분석을 위한 군집화 알고리즘을 평가하며, 시간 시리즈 및 거래 데이터셋에 초점을 맞춘다. k-means, 계층적 군집화, 밀도 기반 접근법과 같은 방법들을 비교하여 신용 평가 및 리스크 평가와 같은 응용 분야에서 자연스러운 데이터 구조를 드러내는 데의 강점과 한계를 강조한다.

ABSTRACT

Nowadays, financial data analysis is becoming increasingly important in the business market. As companies collect more and more data from daily operations, they expect to extract useful knowledge from existing collected data to help make reasonable decisions for new customer requests, e.g. user credit category, confidence of expected return, etc. Banking and financial institutes have applied different data mining techniques to enhance their business performance. Among these techniques, clustering has been considered as a significant method to capture the natural structure of data. However, there are not many studies on clustering approaches for financial data analysis. In this paper, we evaluate different clustering algorithms for analysing different financial datasets varied from time series to transactions. We also discuss the advantages and disadvantages of each method to enhance the understanding of inner structure of financial datasets as well as the capability of each clustering method in this context.

연구 동기 및 목표

• 시간 시리즈 및 거래 데이터셋을 포함한 금융 데이터에 적용 가능한 군집화 접근법에 대한 종합적인 검토를 제공하기 위해.
• 다양한 군집화 알고리즘이 금융 데이터의 내재된 구조를 얼마나 잘 포착하는지 효과성을 평가하기 위해.
• 신용 분류 및 수익 예측과 같은 금융 맥락에서 각 군집화 방법의 장점과 한계를 규명하기 위해.
• 데이터 유형과 분석 목표에 따라 실무자들이 적절한 군집화 기법을 선택하는 데 도움을 주기 위해.

제안 방법

• k-means, 계층적 군집화, DBSCAN, 스펙트럴 군집화를 포함한 널리 사용되는 군집화 알고리즘의 체계적 평가.
• 주식 가격의 시간 시리즈 및 거래 기록을 포함한 다양한 금융 데이터셋에 군집화 기법을 적용.
• 실루엣 점수와 Davies-Bouldin 지수와 같은 표준 평가 지표를 사용하여 군집 품질을 평가.
• 차원 수, 노이즈, 비선형성과 같은 다양한 데이터 특성에서 알고리즘의 동작 분석.
• 다양한 금융 데이터 볼륨에서의 계산 효율성 및 확장성 비교.
• 시간 시리즈의 시간적 의존성과 거래 데이터의 희소성과 같은 도메인 특화 고려사항 통합.

실험 결과

연구 질문

• RQ1 시간 시리즈 금융 데이터에서 가장 잘 성능을 내는 군집화 알고리즘은 무엇이며, 그 이유는 무엇인가?
• RQ2 다양한 군집화 방법은 금융 거래에서 내재된 노이즈와 비선형 패턴을 어떻게 다루는가?
• RQ3 금융 응용 분야에서 군집화 접근법의 해석 가능성, 확장성, 정확성 간의 상충 관계는 무엇인가?
• RQ4 군집화 결과는 신용 분류 또는 리스크 평가와 같은 후속 금융 의사결정에 어떻게 영향을 미치는가?
• RQ5 이질적인 금융 데이터셋에 전통적 군집화 알고리즘을 적용할 때의 주요 과제는 무엇인가?

주요 결과

• k-means는 저차원의 구형 군집에서 잘 작동하지만, 금융 데이터에서 흔한 비볼록 또는 겹치는 구조에는 어려움을 겪는다.
• 계층적 군집화는 금융 세분화에 더 나은 해석 가능성을 제공하지만, 대규모 데이터셋에서는 계산 비용이 높다.
• DBSCAN은 거래 데이터의 이상치와 노이즈를 효과적으로 식별하여 사기 탐지 응용에 적합하다.
• 스펙트럴 군집화는 비선형 금융 패턴에서 향상된 성능을 보이지만, 주의 깊은 파rameter 조정이 필요하다.
• 어느 하나의 알고리즘이 항상 다른 알고리즘을 능가하지는 않으며, 성능은 데이터 유형, 차원 수, 기본 분포에 크게 의존한다.
• 거리 측정 기준의 선택은 특히 고차원 또는 시간에 따라 변하는 금융 데이터에서 군집화 결과에 큰 영향을 미친다.