[논문 리뷰] LogStamp: Automatic Online Log Parsing Based on Sequence Labelling

Shimin Tao, Weibin Meng외 7명|arXiv (Cornell University)|2022. 08. 10.

Software System Performance and Reliability인용 수 4

한 줄 요약

LogStamp는 BERT와 태거를 사용하여 시퀀스 레이블링 문제로 로그 파싱을 프레임화하는 온라인 로그 파싱 방법이다. 이는 최소한의 훈련 데이터로도 높은 정확도를 달성할 수 있게 하여, 새로운 또는 변화하는 시스템 로그의 실시간 분석에 효과적이다. LogStamp는 훈련 데이터의 10%만을 사용하여 평균 정확도 0.956를 달성한다.

ABSTRACT

Logs are one of the most critical data for service management. It contains rich runtime information for both services and users. Since size of logs are often enormous in size and have free handwritten constructions, a typical log-based analysis needs to parse logs into structured format first. However, we observe that most existing log parsing methods cannot parse logs online, which is essential for online services. In this paper, we present an automatic online log parsing method, name as LogStamp. We extensively evaluate LogStamp on five public datasets to demonstrate the effectiveness of our proposed method. The experiments show that our proposed method can achieve high accuracy with only a small portion of the training set. For example, it can achieve an average accuracy of 0.956 when using only 10% of the data training.

연구 동기 및 목표

• 지속적으로 새로운 로그 유형이 등장하는 동적 프로덕션 환경에서 온라인 로그 파싱의 과제를 해결하기 위해.
• 기존 로그 파싱 방법이 높은 정확도를 달성하기 위해 대량의 역사적 로그 데이터가 필요로 하는 한계를 극복하기 위해.
• 시퀀스 레이블링과 사전 훈련된 언어 모델을 활용하여 역사적 로그가 제한된 신규 서비스에 대해 실시간으로 정확한 로그 파싱을 가능하게 하기 위해.
• 다양한 구조와 어휘를 가진 로그 데이터셋에 걸쳐 강력한 성능을 유지를 하되, 특히 낮은 데이터 규모 상황에서도 안정적인 성능을 보장하기 위해.

제안 방법

• 로그 파싱을 시퀀스 레이블링 문제로 변환하여, 로그의 각 토큰을 템플릿의 일부 또는 변수 플레이스홀더로 레이블링한다.
• BERT를 사용해 로그 시퀀스의 문맥적 표현을 인코딩하여, 더 나은 템플릿 식별을 위한 의미적 및 문법적 패턴을 포착한다.
• BERT로 인코딩된 임베딩을 기반으로 시퀀스 태거(LSTM 등)를 훈련시켜 로그 라인 내 각 토큰에 대한 레이블을 예측한다.
• 로그를 순차적으로 처리함으로써 배치 처리가 필요 없이 실시간 템플릿 추출이 가능한 온라인 파싱을 지원한다.
• 로그 전용 데이터로 BERT를 미세조정하여 로그 전용 언어 패턴과의 일치도를 향상시키지만, 실험 결과 이 설정에서의 성능 향상은 제한적임을 확인했다.
• 이중 단계 프로세스를 사용한다: 먼저 레이블이 부여된 로그 시퀀스에서 템플릿 패턴을 학습하기 위한 오프라인 사전 훈련을 수행하고, 이후 실시간 파싱을 위한 온라인 추론을 수행한다.

실험 결과

연구 질문

• RQ1 LogStamp는 최소한의 훈련 데이터로도 온라인 로그 파싱에서 높은 정확도를 달성할 수 있는가?
• RQ2 특히 훈련 데이터의 10%만을 사용할 경우, LogStamp의 성능이 다양한 훈련 데이터 규모에서 얼마나 안정적인가?
• RQ3 BERT와 시퀀스 태거(LSTM, CNN 등)가 전체 파싱 정확도에 기여하는 정도는 어떠한가?
• RQ4 공개 데이터셋에서 기존 로그 파싱 방법과 비교해 LogStamp의 정확도 및 확장성은 어떻게 되는가?

주요 결과

• LogStamp는 다섯 개인 공개 데이터셋에서 훈련 데이터의 10%만을 사용해도 평균 파싱 정확도 0.956를 달성한다.
• 모델은 다섯 데이터셋 전반에서 높은 안정성과 정확도를 유지하며, 작은 훈련 세트 조건에서도 온라인 정확도가 항상 0.95를 초과한다.
• LSTM 기반 태거가 GCN, RNN, CNN보다 시퀀스 레이블링에서 뛰어난 성능을 보이며, 모든 데이터셋에서 최고의 정확도를 기록한다.
• BERT-base, BERT-small, BERT-tiny는 유사한 성능을 보이며, 이 설정에서는 모델 크기가 정확도에 크게 영향을 주지 않는다는 것을 시사한다.
• 모델는 뛰어난 일반화 능력을 보이며, 훈련 데이터가 극히 적은 상황에서도 Hadoop 및 BGL 데이터셋에서 온라인 정확도가 0.997를 초과한다.
• 로그 데이터로 BERT를 미세조정해도 클러스터링 또는 파싱 성능 향상이 일관되게 이루어지지 않아, 사전 훈련된 BERT가 이미 이 작업에 필요한 충분한 로그 의미를 포착하고 있음을 시사한다.