[논문 리뷰] TransLog: A Unified Transformer-based Framework for Log Anomaly Detection

Hongcheng Guo, Xingyu Lin외 6명|arXiv (Cornell University)|2021. 12. 31.

Software System Performance and Reliability인용 수 16

한 줄 요약

TransLog는 사전 훈련된 Transformer 인코더를 사용하여 다중 도메인 로그 이상 탐지에 통합적이고 어댑터 기반의 미세조정 프레임워크를 제안한다. 소스 도메인에서의 사전 훈련과 타겟 도메인에서의 효율적인 어댑터 모듈을 활용함으로써, 훨씬 적은 트레이너블 파라미터와 낮은 훈련 비용으로 최신 기술 성능을 달성하며, 특히 자원이 제한된 환경에서 유의미한 성능 향상을 보인다.

ABSTRACT

Log anomaly detection is a key component in the field of artificial intelligence for IT operations (AIOps). Considering log data of variant domains, retraining the whole network for unknown domains is inefficient in real industrial scenarios especially for low-resource domains. However, previous deep models merely focused on extracting the semantics of log sequence in the same domain, leading to poor generalization on multi-domain logs. Therefore, we propose a unified Transformer-based framework for log anomaly detection (\ourmethod{}), which is comprised of the pretraining and adapter-based tuning stage. Our model is first pretrained on the source domain to obtain shared semantic knowledge of log data. Then, we transfer the pretrained model to the target domain via the adapter-based tuning. The proposed method is evaluated on three public datasets including one source domain and two target domains. The experimental results demonstrate that our simple yet efficient approach, with fewer trainable parameters and lower training costs in the target domain, achieves state-of-the-art performance on three benchmarks.

연구 동기 및 목표

• 다양한 IT 시스템 도메인 간에 일반화 능력이 떨어지는 로그 이상 탐지 문제를 해결하기 위해.
• 새로운 자원이 제한된 도메인에 모델을 구현할 때 훈련 비용과 파라미터 오버헤드를 줄이기 위해.
• 전체 재학습 없이도 공유된 의미적 지식을 소스 도메인에서 타겟 도메인으로 효율적으로 전이할 수 있도록 하기 위해.
• 자원이 제한된 훈련 조건 하에서도 모델의 강건성과 성능을 향상시키기 위해.

제안 방법

• 두 단계 프레임워크: 먼저 소스 도메인 로그 데이터셋에서 트랜스포머 인코더를 사전 훈련하여 공유된 의미적 표현을 학습한다.
• 트랜스포머 레이어 간에 경량 어댑터 모듈을 삽입하여 타겟 도메인에서의 파rameter 효율적인 미세조정을 가능하게 한다.
• 사전 훈련된 모델 가중치를 동결하고, 미세조정 시 어댑터 파라미터만 업데이트함으로써 계산 비용과 과적합 위험을 최소화한다.
• 로그 파싱(Drain을 통해)을 통해 원시 로그를 구조화된 템플릿으로 변환한 후, 이를 트랜스포머 인코더에 입력한다.
• HDFS, BGL, Thunderbird 등의 다수 벤치마크에서 어댑터 크기, 인코더 레이어 수, 훈련 데이터 크기 등의 아블레이션 연구를 수행한다.
• 공정한 비교와 일관된 평가를 보장하기 위해 모든 데이터셋에 동일한 최적화 학습률과 모델 아키텍처를 적용한다.

실험 결과

연구 질문

• RQ1 공통된 의미적 패턴을 가진 다양한 로그 도메인에서 통합형 트랜스포머 기반 모델이 이상 탐지에 효과적으로 작용할 수 있는가?
• RQ2 성능, 파라미터 효율성, 수렴 속도 측면에서 어댑터 기반 미세조정은 전체 미세조정보다 어떻게 비교되는가?
• RQ3 소스 도메인에서의 사전 훈련이 자원이 제한된 타겟 도메인에서의 성능 향상에 얼마나 기여하는가?
• RQ4 특히 자원이 제한된 상황에서, 다양한 양의 훈련 데이터에 따라 모델 성능은 어떻게 변하는가?

주요 결과

• TransLog는 HDFS, BGL, Thunderbird 세 가지 공개 벤치마크에서 최신 기술 성능을 달성하며, F1 스코어는 각각 0.998, 0.997, 0.996을 기록한다.
• 어댑터 기반 조정은 전체 모델 대비 트레이너블 파라미터를 3.5–5.5%로 줄였지만 경쟁력 있는 성능을 유지한다.
• 특히 자원이 제한된 데이터셋(예: 50,000건 미만)에서 미세조정할 경우, 초기 학습보다 더 빠르게 수렴하고 더 잘 일반화된다.
• 사전 훈련의 성능 향상 효과는 도메인에 따라 달라지며, BGL에서 사전 훈련한 모델은 HDFS에서 더 큰 성능 향상을 보였고, Thunderbird에서 사전 훈련한 모델는 그에 비해 성능 향상이 더 적었다.
• 어댑터 조정은 전체 미세조정보다 더 뛰어난 강건성을 보이며, 인코더 레이어 수를 늘릴수록 1, 2, 4 레이어에서 일관된 성능을 유지한다.
• 업데이트되는 파라미터 수가 5% 미만일 경우 성능 저하가 오직 1%에 불과하여 높은 파라미터 효율성을 입증한다.