[논문 리뷰] Periodicity Detection of Outlier Sequences Using Constraint Based Pattern Tree with MAD

N. Archana, Suvarna S. Pawar|arXiv (Cornell University)|2015. 07. 07.

Anomaly Detection Techniques and Applications참고 문헌 10인용 수 4

한 줄 요약

이 논문은 시간 시리즈 데이터에서 주기적 이상 패턴을 탐지하기 위한 새로운 알고리즘을 제안한다. Constraint-Based Pattern Tree (CB-FP-tree)를 Median Absolute Deviation (MAD)로 보강하여 이방자 후보 식별을 향상시켰다. 트리 성장을 제한하기 위해 수준 및 단조성 제약 조건을 적용하고, MAD를 활용해 이방자 탐지를 정밀화함으로써, 박테리아 단백질 서열에서의 실험 검증을 통해 STNR-out보다 높은 주기성 탐지 정확도를 달성하였다.

ABSTRACT

Patterns that appear rarely or unusually in the data can be defined as outlier patterns. The basic idea behind detecting outlier patterns is comparison of their relative frequencies with frequent patterns. Their frequencies of appearance are less and thus have lesser support in the data. Detecting outlier patterns is an important data mining task which will reveal some interesting facts. The search for periodicity of patterns gives the behavior of these patterns across time as to when they repeat likely. This in turn helps in prediction of events. These patterns are found in Time series-data, social networks etc. In this paper, an algorithm for periodic outlier pattern detection is proposed with the usage of a Constraint Based FP (Frequent Pattern)-tree as the underlying data structure for time series data. The growth of the tree is limited by using level and monotonic constraints. The protein sequence of bacteria named E.Coli is collected and periodic outlier patterns in the sequence are identified. Further the enhancement of results is obtained by finding the Median Absolute Deviation (MAD) in defining candidate outlier patterns. The comparative results between STNR-out (Suffix Tree Noise Resilient for Outlier Detection) and proposed algorithm are illustrated. The results show the effectiveness and applicability of the proposed algorithm.

연구 동기 및 목표

• 시간 시리즈 데이터에서 정상 행동과 크게 다름을 보이는 희귀한 주기적 패턴을 식별하는 데 도전하는 것.
• Median Absolute Deviation (MAD)를 패턴 마이닝 과정에 통합하여 이방자 탐지의 정밀도를 향상시키는 것.
• 수준 및 단조성 제약 조건을 통한 가지치기를 통해 효율적인 알고리즘을 개발하여 주기적 이방자 탐지하는 것.
• 실제 생물학적 시간 시리즈 데이터를 대상으로 기존 방법들과 비교하여 제안된 방법의 성능을 평가하는 것.

제안 방법

• 이 방법은 시간 시리즈 데이터에서 빈번한 패턴과 이방자 패턴을 효율적으로 저장하고 마이닝하기 위해 기초 데이터 구조로 Constraint-Based FP-tree (CB-FP-tree)를 사용한다.
• 트리 구축 과정에서 수준 및 단조성 제약 조건을 적용하여 트리의 성장을 제한하고 계산 오버헤드를 줄인다.
• 후보 이방자 패턴은 Median Absolute Deviation (MAD)를 사용해 정밀화되며, 이는 패턴 빈도의 산포도를 측정하여 통계적으로 희귀한 패턴을 식별한다.
• 검출된 이방자 패턴의 주기성은 시간 시리즈 전반에서 반복 간격을 추적하여 분석한다.
• 박테리아 단백질 서열을 대상으로 알고리즘을 평가하여 생물학적으로 의미 있는 주기적 이방자 패턴을 탐지한다.
• 정밀도 및 재현율 지표를 사용하여 STNR-out, 최신 기술의 이방자 탐지 방법과 비교 분석을 수행한다.

실험 결과

연구 질문

• RQ1 제약 조건이 부여된 패턴 트리 구조를 사용해 시간 시리즈 데이터에서 주기적 이방자 패턴을 효과적으로 탐지할 수 있는가?
• RQ2 MAD를 통합함으로써 시간 시리즈에서 진짜 이방자 패턴의 식별에 얼마나 기여하는가?
• RQ3 정확도 및 효율성 측면에서 제안된 알고리즘이 STNR-out에 비해 성능 면에서 어떻게 비교되는가?
• RQ4 수준 및 단조성 제약 조건의 통합이 이방자 패턴 마이닝의 확장성과 정밀도를 향상시키는 데 기여하는가?

주요 결과

• 제안된 알고리즘이 STNR-out보다 주기적 이방자 패턴 탐지에서 더 높은 정확도를 보이며 진짜 이방자 패턴을 더 잘 식별함을 입증하였다.
• MAD의 사용은 후보 이방자 패턴의 정밀화에 크게 기여하여 산포도를 강력하게 측정하는 데 기여하였다.
• 수준 및 단조성 제약 조건의 적용은 CB-FP-tree의 크기를 효과적으로 줄여 계산 효율성을 향상시켰다.
• 박테리아 단백질 서열에서의 실험 결과는 본 방법이 생물학적으로 관련성이 있는 주기적 이방자 패턴을 탐지할 수 있음을 확인하였다.
• 비교 평가 결과, 제안된 방법은 STNR-out에 비해 정밀도 및 재현율 측면에서 뛰어난 성능을 달성하였다.