[논문 리뷰] Sequence Graph Transform (SGT): A Feature Extraction Function for Sequence Data Mining.

Chitta Ranjan, Samaneh Ebrahimi외 1명|arXiv (Cornell University)|2016. 08. 11.

Data Mining Algorithms and Applications참고 문헌 72인용 수 8

한 줄 요약

이 논문은 계산 비용 증가 없이 시계열 데이터의 단기 및 장기적 의존성을 효율적으로 포착할 수 있는 새로운 특징 임bedding 함수인 시퀀스 그래프 변환(SGT)을 제안한다. SGT는 시퀀스 커널 및 LSTMs와 같은 최신 기법들보다 시퀀스 클러스터링 및 분류에서 높은 정확도를 달성하면서도 낮은 계산 비용을 유도한다.

ABSTRACT

Sequence feature embedding is a challenging task due to un-structuredness of sequences -- arbitrary strings of arbitrary length. Existing methods are efficient in extracting short-term dependencies but typically suffer from computation issues for the long-term. Sequence Graph Transform (SGT), a feature embedding function, that can extract varying amount of short- to long-term dependencies without increasing the computation is proposed. SGT's properties are analytically proved for interpretation under normal and uniform distribution assumptions. SGT features yield significantly superior results in sequence clustering and classification with higher accuracy and lower computation as compared to the existing methods, including the state-of-the-art sequence/string Kernels and LSTM.

연구 동기 및 목표

• 구조가 불규칙하고 길이가 변하는 시퀀스 데이터에서 특징 추출의 과제를 해결한다.
• 기존 방법들이 장기적 의존성을 포착할 때 계산 비효율성을 해결한다.
• 의존성 길이에 관계없이 저비용 계산을 유지하는 특징 임bedding 함수를 개발한다.
• 기본 분포 가정 하에 특징 표현의 분석적 해석 가능성을 확보한다.

제안 방법

• SGT는 노드를 부분문자열로, 간선을 공존 관계로 간주하는 그래프로 시퀀스를 모델링한다.
• 다양한 시퀀스 길이에 걸쳐 특징을 집계하기 위해 재귀적 변환을 사용하여 국소적 및 전역적 패턴을 유지한다.
• 균일분포 및 정규분포 가정 하에 안정성을 보장하는 정규화 및 변환 과정을 적용한다.
• 고정 크기의 변환 행렬을 통해 특징 추출을 수행하며, 이는 시퀀스 길이와 무관하게 일정한 시간 복잡도를 보장한다.
• 반복 계산 없이도 구조적 의존성을 인코딩하기 위해 그래프 이론 원리를 활용한다.
• 최종 임베딩은 노드 특징의 가중 평균 집합을 통해 다중 척도 의존성을 포착한다.

실험 결과

연구 질문

• RQ1 의존성 길이에 따라 계산 비용이 증가하지 않으면서도 특징 임bedding 함수가 장기적 의존성을 효율적으로 포착할 수 있는가?
• RQ2 SGT의 성능은 시퀀스 분류 및 클러스터링에서 시퀀스 커널 및 LSTMs와 같은 최신 기법들과 비교해 어떻게 되는가?
• RQ3 정규분포 및 균일분포 가정 하에서 SGT의 분석적 성질은 어떠한가?
• RQ4 다양한 시퀀스 길이에서 SGT는 계산 복잡도를 줄이면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• SGT는 시퀀스 커널 및 LSTMs보다 시퀀스 분류 및 클러스터링에서 유의미하게 높은 정확도를 달성한다.
• SGT는 시퀀스 길이에 관계없이 일정한 계산 비용을 유지하며, LSTMs와 같은 반복 모델과는 달리 이에 영향을 받지 않는다.
• SGT는 그래프 기반의 구조적 인코딩 덕분에 장기적 의존성을 더 잘 포착하는 데에 뛰어난 성능을 보인다.
• 정규분포 및 균일분포 하에서의 분석적 증명은 SGT 특징의 해석 가능성과 안정성을 확인한다.
• SGT는 정확도를 향상시키면서도 계산 오버헤드를 줄여 대규모 시퀀스 데이터 마이닝에 적합하다.
• 실증 결과는 SGT가 벤치마크 시퀀스 데이터셋에서 정확도 및 효율성 지표 모두에서 기존 방법들을 능가함을 보여준다.