[논문 리뷰] OWL: A Large Language Model for IT Operations

Hongcheng Guo, Jian Yang외 14명|arXiv (Cornell University)|2023. 09. 17.

Data Quality and Management인용 수 4

한 줄 요약

이 논문은 시스템 아키텍처 및 로그 관리와 같은 9개의 IT 도메인을 포함하는 Owl-Instruct 데이터셋으로 훈련된 IT 운영을 위한 전문화된 대규모 언어 모델인 Owl을 소개한다. 효율적인 지시 훈련을 위해 어댑터의 혼합 방식을 사용하여, Owl은 제안된 Owl-Bench 벤치마크와 개방형 IT 벤치마크에서 기존 모델을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

With the rapid development of IT operations, it has become increasingly crucial to efficiently manage and analyze large volumes of data for practical applications. The techniques of Natural Language Processing (NLP) have shown remarkable capabilities for various tasks, including named entity recognition, machine translation and dialogue systems. Recently, Large Language Models (LLMs) have achieved significant improvements across various NLP downstream tasks. However, there is a lack of specialized LLMs for IT operations. In this paper, we introduce the OWL, a large language model trained on our collected OWL-Instruct dataset with a wide range of IT-related information, where the mixture-of-adapter strategy is proposed to improve the parameter-efficient tuning across different domains or tasks. Furthermore, we evaluate the performance of our OWL on the OWL-Bench established by us and open IT-related benchmarks. OWL demonstrates superior performance results on IT tasks, which outperforms existing models by significant margins. Moreover, we hope that the findings of our work will provide more insights to revolutionize the techniques of IT operations with specialized LLMs.

연구 동기 및 목표

• IT 운영에 특화된 대규모 언어 모델의 부족을 해결하기 위해, 고유한 용어와 복잡한 워크플로우를 갖는 IT 운영에 특화된 모델이 필요하다.
• 자기 지시 전략을 사용하여 9개의 IT 운영 및 유지보수 도메인을 포함하는 고품질, 다양한 지시 데이터셋(Owl-Instruct)을 구축한다.
• 다양한 도메인과 시나리오에서 IT 운영 작업을 평가하기 위해 종합적인 벤치마크인 Owl-Bench를 개발한다.
• 다양한 IT 작업에 걸쳐 효율적인 파라미터 최적화를 가능하게 하는 새로운 어댑터의 혼합 전략을 통해 지시 훈련의 성능을 향상시킨다.
• 도메인 특화 미세조정이 실제 IT 운영 작업에서 LLM 성능을 크게 향상시킨다는 것을 입증한다.

제안 방법

• 3000개의 시드 샘플을 수집하고 GPT-3를 사용하여 9개의 IT 도메인 전반에 걸쳐 다양한 고품질 지시-응답 쌍을 생성함으로써 Owl-Instruct 데이터셋을 구축하였다.
• 초기 인간 주석이 달린 샘플에서 자동으로 다양한 고품질 지시 데이터를 생성하기 위해 자기 지시 전략을 적용하였다.
• Owl-Bench 벤치마크를 설계하여 9개의 운영 및 유지보수 관련 도메인을 포함하였으며, 종합적인 평가를 위해 단일 대화 및 다중 대화 질문-답변 작업을 포함하였다.
• 감독 미세조정 중에 작업별로 특화된 파라미터 업데이트를 가능하게 하기 위해 어댑터의 혼합 전략을 제안하였다. 이는 다양한 IT 작업에서의 성능 향상에 기여하였다.
• 로테이션 위치 인코딩과 디코더 전용 Transformer 아키텍처를 사용하여 Owl-Instruct 데이터셋을 기반으로 감독 미세조정을 통해 Owl 모델을 훈련시켰다.
• 제로샷 및 피샷 프롬프팅을 사용하여 Owl-Bench와 개방형 IT 벤치마크(로그 파싱 및 이상 탐지 포함)에서 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 다양하고 도메인 특화된 IT 지시 데이터셋으로 미세조정된 대규모 언어 모델이 일반 기반 LLM보다 IT 운영 작업에서 뛰어난 성능을 보일 수 있는가?
• RQ2 어댑터의 혼합 전략은 다양한 IT 운영 도메인에서 지시 훈련 성능을 향상시키는 데 얼마나 효과적인가?
• RQ3 Owl 모델이 미리 보지 않은 IT 작업으로 일반화되어 제로샷 및 피샷 설정에서 높은 정확도를 유지할 수 있는가?
• RQ4 로그 파싱 및 이상 탐지와 같은 표준화된 IT 운영 벤치마크에서 Owl의 성능은 기존 LLM과 비교해 어떻게 되는가?
• RQ5 고품질이고 다양한 지시 데이터는 IT 운영 분야에서 전문화된 LLM의 강건성과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• Owl은 Owl-Bench 벤치마크에서 기존 대규모 언어 모델을 능가하며, 모든 9개의 IT 운영 도메인에서 뛰어난 성능을 보였다.
• 어댑터의 혼합 전략은 지시 훈련 성능을 크게 향상시켜 다양한 IT 작업에 대해 효율적인 파라미터 최적화를 가능하게 하였다.
• 로그 파싱 작업에서는 최신 기술 수준의 성능을 기록하여 F1 점수와 파싱 정확도에서 이전 모델을 능가하였다.
• 로그 이상 탐지 작업에서는 강력한 제로샷 일반화 성능를 보였지만, 도메인 내 로그 데이터가 제한되어 있어 성능은 다소 낮아, 핵심 과제임을 시사하였다.
• 피샷 및 제로샷 설정에서 질문-답변 및 다중 선택 문제에서 강력한 성능를 유지하여 효과적인 피샷 학습 능력을 보였다.
• Owl-Bench 벤치마크는 다양한 IT 운영 작업을 평가하는 데 성공적으로 활용되었으며, 향후 연구를 위한 표준화된 평가 프레임워크를 제공하였다.