[논문 리뷰] Mining Periodic Patterns with a MDL Criterion

Esther Galbrun, Peggy Cellier외 3명|arXiv (Cornell University)|2018. 07. 04.

Data Mining Algorithms and Applications참고 문헌 18인용 수 4

한 줄 요약

이 논문은 데이터를 가장 잘 압축하는 패턴 세트를 평가하고 선택하기 위해 최소 기술 길이(MDL) 원리를 사용하여 이벤트 로그에서 주기적 패턴을 채굴하는 새로운 접근법을 제안한다. 이벤트에 대한 중첩된 사이클을 포함하는 표현력 있는 패턴 언어를 정의하고, 모델 복잡도와 데이터 적합도를 균형 잡는 MDL 기반 인코딩을 사용함으로써, 실제 로그에서 의미 있는 주기적 구조를 효과적으로 식별하며, 상당한 압축을 달성하고 직관적인 반복 패턴을 드러낸다.

ABSTRACT

The quantity of event logs available is increasing rapidly, be they produced by industrial processes, computing systems, or life tracking, for instance. It is thus important to design effective ways to uncover the information they contain. Because event logs often record repetitive phenomena, mining periodic patterns is especially relevant when considering such data. Indeed, capturing such regularities is instrumental in providing condensed representations of the event sequences. We present an approach for mining periodic patterns from event logs while relying on a Minimum Description Length (MDL) criterion to evaluate candidate patterns. Our goal is to extract a set of patterns that suitably characterises the periodic structure present in the data. We evaluate the interest of our approach on several real-world event log datasets.

연구 동기 및 목표

• 혼합 신호와 비정상성으로 인해 노이즈가 많은 대규모 이벤트 로그에서 의미 있는 주기적 패턴을 추출하는 데 도전하는 것.
• 기존 패턴 채굴 알고리즘에서 일반적으로 발생하는 패턴 폭발 문제를 해결하기 위해 전역적으로 최적의 패턴 세트에 집중함으로써 패턴 수를 줄이는 것.
• 이벤트 시퀀스의 주기적 구조를 가장 잘 기술하는 패턴 세트를 평가하고 선택하기 위한 원리적인 기준으로 MDL 원리를 활용하는 것.
• 일일 루틴과 같은 복합적이고 중첩된 주기적 행동을 표현할 수 있는 표현력 있는 패턴 언어를 설계하는 것.
• 다양한 실제 이벤트 로그 데이터셋에서 MDL 최적의 주기적 패턴을 효율적으로 채굴할 수 있도록 알고리즘을 개발하고 실증적으로 검증하는 것.

제안 방법

• 각 사이클이 주기, 반복 횟수, 시작 시간으로 정의되는 단일 이벤트에 대한 사이클 기반 패턴 언어 정의.
• 패턴의 재귀적 조합을 允허함으로써 중첩되고 복합적인 주기적 구조(예: 매주 반복되는 일일 루틴)를 허용하도록 패턴 언어를 확장.
• 입력 시퀀스를 얼마나 잘 압축하는지에 따라 패턴 세트의 코드 길이를 할당하는 인코딩 체계 설계. 이는 MDL 원리를 기반으로 한다.
• 이중 단계 알고리즘 사용: 먼저 데이터로부터 단순 사이클을 채굴하고, 이후 MDL 점수 평가를 통해 압축 성과를 확보하면서 더 복잡한 패턴으로 조합.
• 패턴 조합을 시험하고 총 코드 길이를 줄이는 경우에만 유지하는 그리디하고 반복적인 조합 전략 적용.
• 압축 향상이 이루어지지 않는 후보 조합은 기각하는 프루닝 메커니즘 구현으로 확장성과 효율성 확보.

실험 결과

연구 질문

• RQ1 MDL 원리는 이벤트 로그의 기본 구조를 잘 반영하는 작고 고품질의 주기적 패턴 세트를 효과적으로 선별하는 데에 적용될 수 있는가?
• RQ2 일일 루틴이 매주 반복되는 것과 같은 복잡하고 중첩된 주기적 행동을 표현할 수 있는 패턴 언어는 어떻게 설계할 수 있는가?
• RQ3 伝통적인 채굴 접근 방식과 비교할 때, MDL 기반 패턴 선별은 패턴 수를 얼마나 줄일 수 있으며, 데이터 압축 성능은 유지 또는 향상되는가?
• RQ4 노이즈, 비정상성, 복잡도 수준이 다양한 실제 이벤트 로그에서 알고리즘의 성능은 어떠한가?
• RQ5 특히 중첩되거나 복합적인 패턴들인 의미 있는 주기적 패턴들은 다양한 로그 데이터셋에서 얼마나 신뢰성 있게 추출될 수 있는가?

주요 결과

• 제안된 MDL 기반 접근법은 실제 이벤트 로그 데이터셋에서 상당한 데이터 압축을 달성하는 주기적 패턴 세트를 성공적으로 식별하여, 의미 있는 패턴을 선별하는 데에 이 기준이 효과적임을 입증한다.
• 알고리즘은 사람의 이해에 편리한 패턴들(예: 매 24시간마다 일어나고 커피를 준비하는 일일 루틴)과 시스템 수준의 패턴들(예: 반복적인 컨텍스트 스위치와 프로세스 활성화)을 추출한다.
• 실행 시간은 몇 초에서 몇 시간까지 다양하게 변동하며, 두 번째 단계(패턴 조합)가 가장 시간이 오래 걸리며, 특히 초기에 많은 긴 사이클이 추출된 경우에 더욱 그렇다.
• 패턴 언어의 유연성과 MDL 평가 덕분에 노이즈와 비정상성(예: 반복 간 격차, 변동하는 간격)에 강건하게 대응할 수 있다.
• 알고리즘 성능은 초기 사이클의 수와 길이에 민감하며, 더 길고 더 많은 사이클이 존재할수록 조합 라운드의 계산 비용이 증가한다.
• 압축 비율과 코드 길이 감소를 통해, 기존의 채굴 방법에 비해 패턴 수를 줄이면서도 압축 성능을 유지 또는 향상시키는 것으로 나타났다.