[논문 리뷰] Sequence Graph Transform (SGT): A Feature Extraction Function for Sequence Data Mining (Extended Version)

Chitta Ranjan, Samaneh Ebrahimi외 1명|arXiv (Cornell University)|2016. 08. 11.

Data Mining Algorithms and Applications인용 수 3

한 줄 요약

이 논문은 유량 데이터에서 짧은 기간 및 긴 기간 패턴을 저비용으로 효율적으로 캡처할 수 있도록 유한 차원 공간에 임bedding하는 새로운 특징 추출 함수인 Sequence Graph Transform (SGT)를 제안한다. SGT는 분류, 클러스터링, 검색과 같은 시퀀스 마이닝 작업에서 기존 방법보다 뛰어난 정확도와 효율성을 보이며 우수한 성능을 발휘한다.

ABSTRACT

The ubiquitous presence of sequence data across fields such as the web, healthcare, bioinformatics, and text mining has made sequence mining a vital research area. However, sequence mining is particularly challenging because of difficulty in finding (dis)similarity/distance between sequences. This is because a distance measure between sequences is not obvious due to their unstructuredness---arbitrary strings of arbitrary length. Feature representations, such as n-grams, are often used but they either compromise on extracting both short- and long-term sequence patterns or have a high computation. We propose a new function, Sequence Graph Transform (SGT), that extracts the short- and long-term sequence features and embeds them in a finite-dimensional feature space. Importantly, SGT has low computation and can extract any amount of short- to long-term patterns without any increase in the computation, also proved theoretically in this paper. Due to this, SGT yields superior result with significantly higher accuracy and lower computation compared to the existing methods. We show it via several experimentation and SGT's real world application for clustering, classification, search and visualization as examples.

연구 동기 및 목표

• 데이터 마이닝 응용 분야에서 비구조적이고 길이가 변하는 시퀀스 간의 (비)유사도 측정 문제를 해결한다.
• n-grams와 같은 기존 특징 추출 방법의 한계를 극복한다. 이는 패턴 유지 능력 저하 또는 높은 계산 비용을 수반하기 때문이다.
• 특징 추출 함수를 개발하여 짧은 기간 및 긴 기간 시퀀스 패턴을 모두 캡처하면서도 계산 복잡도가 증가하지 않도록 한다.
• 클러스터링, 분류, 검색, 시각화와 같은 다양한 응용 분야에서 효율적이고 정확한 시퀀스 마이닝을 가능하게 한다.
• SGT의 확장성과 기존 접근법 대비 성능 우수성에 대한 이론적 및 실증적 검증을 수행한다.

제안 방법

• 시퀀스를 유한 차원 특징 공간으로 변환하는 특징 추출 함수로 Sequence Graph Transform (SGT)를 제안한다.
• 시퀀스의 국소적(짧은 기간) 및 전반적(긴 기간) 패턴을 모두 인코딩하는 시퀀스 그래프 표현을 구축한다.
• 그래프 기반 변환을 통해 다양한 길이의 시퀀스 간의 구조적 및 순서적 관계를 유지한다.
• 추출된 패턴 수에 관계없이 일정한 계산 비용을 유지하는 SGT 함수를 설계하여 확장성을 확보한다.
• 이론적 분석을 통해 SGT의 계산 복잡도가 추출된 패턴 수와 무관하게 낮고 일정함을 증명한다.
• 결과로 도출된 특징 벡터를 후속 머신러닝 및 유사도 기반 작업에 적합한 고정된 차원 공간에 임베딩한다.

실험 결과

연구 질문

• RQ1 저비용으로 길이가 변하는 시퀀스에서 짧은 기간 및 긴 기간 패턴을 효율적으로 캡처할 수 있는 특징 추출 방법이 존재하는가?
• RQ2 SGT는 분류, 클러스터링 등 시퀀스 마이닝 작업에서 n-gram과 같은 기존 방법 대비 정확도 및 계산 효율성 측면에서 어떻게 비교되는가?
• RQ3 SGT는 계산 비용 증가 없이도 임의의 길이의 시퀀스에 대해 얼마나 잘 확장되는가?
• RQ4 SGT는 클러스터링, 분류, 시각화와 같은 실세계 응용 분야에서 성능 향상에 기여하는가?
• RQ5 실제 시퀀스 마이닝 워크로드 환경에서 SGT의 저복잡도 특성에 대한 이론적 기반은 타당하고 검증 가능한가?

주요 결과

• SGT는 기존 방법 대비 시퀀스 분류 및 클러스터링 작업에서 유의미하게 높은 정확도를 달성한다.
• 이론적으로 증명된 linen 의 경우, SGT는 추출된 짧은 기간 및 긴 기간 패턴의 수에 관계없이 낮은 계산 비용을 유지한다.
• 작고 유한 차원의 특징 표현 덕분에 효율적인 시퀀스 검색 및 시각화가 가능해진다.
• 실증 평가를 통해 SGT는 다양한 실세계 시퀀스 마이닝 응용 분야에서 뛰어난 성능을 보였다.
• 계산 비용 증가 없이 국소적 및 전반적 시퀀스 패턴을 모두 효과적으로 캡처하는 데서 n-gram 기반 접근법을 능가한다.
• 이론적 분석을 통해 SGT의 계산 복잡도가 추출된 패턴 수와 독립적임을 확인하여 확장성 보장됨을 입증했다.