[논문 리뷰] Keeping it Short and Simple: Summarising Complex Event Sequences with Multivariate Patterns

Roel Bertens, Jilles Vreeken외 1명|arXiv (Cornell University)|2015. 12. 22.

Time Series Analysis and Forecasting참고 문헌 27인용 수 5

한 줄 요약

이 논문은 복잡한 이벤트 시퀀스에서 간결하고 고품질의 다변량 순차 패턴을 발견하기 위해 최소 기술 길이(MDL) 원리를 사용하는 효율적인 알고리즘인 Ditto를 제안한다. 반복적으로 재중복을 가장 줄이는 패턴을 선택함으로써(중첩, 간격, 다중 속성 간 상관관계를 허용함) Ditto는 합리적이고 해석 가능한 요약을 생성하며, 이는 합성 데이터와 실제 데이터(센서 네트워크, 주석이 달린 텍스트 포함)의 핵심 구조적 및 관계적 특징을 포괄한다.

ABSTRACT

We study how to obtain concise descriptions of discrete multivariate sequential data. In particular, how to do so in terms of rich multivariate sequential patterns that can capture potentially highly interesting (cor)relations between sequences. To this end we allow our pattern language to span over the domains (alphabets) of all sequences, allow patterns to overlap temporally, as well as allow for gaps in their occurrences. We formalise our goal by the Minimum Description Length principle, by which our objective is to discover the set of patterns that provides the most succinct description of the data. To discover high-quality pattern sets directly from data, we introduce DITTO, a highly efficient algorithm that approximates the ideal result very well. Experiments show that DITTO correctly discovers the patterns planted in synthetic data. Moreover, it scales favourably with the length of the data, the number of attributes, the alphabet sizes. On real data, ranging from sensor networks to annotated text, DITTO discovers easily interpretable summaries that provide clear insight in both the univariate and multivariate structure.

연구 동기 및 목표

• 복잡한 다변량 순차 데이터를 요약하기 위해 기반 구조와 상관관계를 포착하는 소규모 대표 패턴 세트를 식별하는 데 도전하는 것.
• 작은 데이터셋이라도 빈번한 패턴 폭발 문제를 해결하는 것—즉, 심지어 작은 데이터셋이라도 수십억 개의 빈번한 패턴이 생성되어 후처리가 불가능해지는 문제.
• 완전한 패턴 공간을 탐색하는 데 어려움을 겪는 것을 방지하기 위해 데이터에서 직접 고품질 패턴 세트를 추출하는 방법을 개발하는 것.
• 실제 데이터(예: 센서 로그, 주석이 달린 텍스트)에서 단변량 및 다변량 관계를 모두 드러내는 이해하기 쉬운 압축된 요약을 가능하게 하는 것.
• 잡음이 있거나 복잡한 데이터(다국어 또는 다중 속성 종속성 포함)에서도 허위 패턴을 피하면서도 높은 정확도를 유지하면서도 확장 가능한 효율적인 솔루션을 제공하는 것.

제안 방법

• 최적의 패턴 세트가 데이터의 총 기술 길이를 최소화하는 조건에서 요약 문제를 MDL 원리로 수식화함.
• 패턴이 여러 속성을 포함하고 시간적 간격을 허용하며 발생에 중첩될 수 있도록 허용하는 풍부한 패턴 언어를 도입함으로써 복잡한 다변량 상관관계 탐지 가능.
• 현재 데이터 기술 기반에서 재중복을 가장 줄이는 패턴 쌍(또는 그룹)을 선택함으로써 모델을 반복적으로 구축하는 Ditto 알고리즘 설계.
• 그리디하고 반복적인 접근 방식을 사용: 각 단계에서 시퀀스 내에서 자주 함께 나타나는 패턴을 식별하고, MDL 점수를 향상시키면 그 합집합을 모델에 추가함.
• 고재중복 감소 패턴에만 집중함으로써 대규모 검색 공간의 대부분을 잘라내는 효율적인 후보 생성 및 평가 전략을 활용함.
• 패턴과 데이터를 MDL 기반 손실 없는 압축 방식으로 인코딩함—점수는 패턴 복잡도와 데이터 압축 성과 사이의 균형을 조절함.

실험 결과

연구 질문

• RQ1 MDL 기반 패턴 세트 마이닝 접근 방식이 빈번한 패턴 폭발 문제를 피하면서도 복잡한 다변량 순차 데이터를 효과적으로 요약할 수 있는가?
• RQ2 Ditto와 같은 알고리즘이 다양한 크기, 지지도, 진짜 패턴 수를 가진 합성 데이터에서 심기된 패턴을 얼마나 잘 복원할 수 있는가?
• RQ3 실제 시나리오에서 데이터 길이, 속성 수, 알파벳 크기가 증가함에 따라 Ditto는 어느 정도 확장 가능한가?
• RQ4 Ditto는 센서 네트워크나 주석이 달린 텍스트와 같은 실제 데이터에서 의미 있고 해석 가능한 다변량 패턴을 발견할 수 있는가? 이는 언어학적 또는 도메인 특화된 구조를 드러내는가?
• RQ5 간격, 중첩, 다중 속성 패턴을 포함함으로써 얻는 요약의 품질과 해석 가능성은 단변량 또는 고정된 패턴 모델 대비 어느 정도 향상되는가?

주요 결과

• Ditto는 허위 패턴을 생성하지 않고도 지원, 크기, 수량에 관계없이 합성 데이터셋의 모든 심기된 패턴을 정확히 발견함.
• 데이터 길이, 속성 수, 알파벳 크기 증가에 따라 알고리즘이 유리하게 확장되며, 대규모 데이터셋에서도 실행 시간이 짧아(초 단위) 유지됨.
• 주석이 달린 텍스트(예: Moby Dick)에서 Ditto는 "<noun> of the <noun>" 및 "the <noun> of"와 같은 비트레비알한 언어학적 패턴을 식별하여 저자의 글쓰기 스타일을 드러냄.
• 다국어 금융 데이터에서는 "relève"(프랑스어), "stellt fest dass"(독일어), "note"(영어)와 같은 다국어 번역 패턴을 정확히 식별함으로써 다변량 정렬을 보여줌.
• 비정형 데이터에서는 Sqs와 같은 기준 방법 대비 Ditto의 압축 성과가 다소 떨어지며, 이는 그러한 데이터에 강력한 다변량 구조가 없음을 시사함—관찰된 간격 패턴과 일치함.
• 간격 내성과 노이즈에 대한 내성을 통해 과적합을 방지함—합성 및 실제 데이터 실험에서 허위 패턴이 존재하지 않음.