[論文レビュー] OWL: A Large Language Model for IT Operations

Hongcheng Guo, Jian Yang+14 more|arXiv (Cornell University)|Sep 17, 2023

Data Quality and Management被引用数 4

ひとこと要約

本稿では、システムアーキテクチャやログ管理を含む9つのIT分野をカバーするOwl-Instructデータセットで微調整された、ITオペレーション向けに特化した大規模言語モデルOwlを紹介する。混合アダプタを用いた効率的なインstructチューニングにより、Owlは提案されたOwl-BenchベンチマークおよびオープンなITベンチマークで、既存のモデルを上回る最先端の性能を達成した。

ABSTRACT

With the rapid development of IT operations, it has become increasingly crucial to efficiently manage and analyze large volumes of data for practical applications. The techniques of Natural Language Processing (NLP) have shown remarkable capabilities for various tasks, including named entity recognition, machine translation and dialogue systems. Recently, Large Language Models (LLMs) have achieved significant improvements across various NLP downstream tasks. However, there is a lack of specialized LLMs for IT operations. In this paper, we introduce the OWL, a large language model trained on our collected OWL-Instruct dataset with a wide range of IT-related information, where the mixture-of-adapter strategy is proposed to improve the parameter-efficient tuning across different domains or tasks. Furthermore, we evaluate the performance of our OWL on the OWL-Bench established by us and open IT-related benchmarks. OWL demonstrates superior performance results on IT tasks, which outperforms existing models by significant margins. Moreover, we hope that the findings of our work will provide more insights to revolutionize the techniques of IT operations with specialized LLMs.

研究の動機と目的

• ITオペレーションに特化した大規模言語モデルの不足に応えること。ITオペレーションは固有の用語と複雑なワークフローを有するため、一般向けLLMでは不十分である。
• 自己インstruct戦略を用いて、9つのIT運用保守分野をカバーする高品質で多様なインstructデータセット（Owl-Instruct）を構築すること。
• LLMが複数の分野やシナリオにおけるITオペレーションタスクを評価できるよう、包括的なベンチマークであるOwl-Benchを構築すること。
• 新しい混合アダプタ戦略を用いて、多様なITタスクにおけるパラメータ効率的なインストラクションチューニングを改善すること。
• ドメイン特化型の微調整が、実用的なITオペレーションタスクにおけるLLM性能を顕著に向上させることを実証すること。

提案手法

• GPT-3を用いて、9つのIT分野にわたる多様で高品質なインストラクション・レスポンスペアを生成するため、3000件のシードサンプルを収集してOwl-Instructデータセットを構築した。
• 初期のヒューマンアノテート済みサンプルから、自己インストラクション戦略を適用して自動的に多様で高品質なインストラクションデータを生成した。
• Owl-Benchベンチマークを設計し、9つのO&M関連分野をカバーする。単一ターンおよびマルチターンの質疑応答タスクを含み、包括的な評価を可能にした。
• 教師あり微調整中に、タスク固有のパラメータ更新を効率的に行えるよう、混合アダプタ戦略を提案した。これにより、多様なITタスクにおける性能が向上した。
• ロータリー位置エンコーディングを用い、デコーダーのみのTransformerアーキテクチャを採用して、Owl-Instructデータセット上で教師あり微調整によりOwlモデルを訓練した。
• ゼロショットおよびフェイシングショットプロンプティングを用いて、Owl-BenchおよびオープンなITベンチマーク（ログパースィングや異常検出を含む）での性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 多様でドメイン特化型のITインストラクションデータセットで微調整された大規模言語モデルは、一般向けLLMと比較して、ITオペレーションタスクにおいて優れた性能を発揮できるか？
• RQ2 混合アダプタ戦略は、複数のITオペレーション分野にわたり、インストラクションチューニングの性能を向上させるのにどの程度有効か？
• RQ3 Owlモデルは、未学習のITタスクにどの程度一般化できるか。ゼロショットおよびフェイシングショット設定でも高い正確性を維持できるか？
• RQ4 標準化されたITオペレーションベンチマーク（例：ログパースィングや異常検出）において、Owlの性能は既存のLLMと比較してどの程度優れているか？
• RQ5 高品質で多様なインストラクションデータは、ITオペレーション分野における特化型LLMの頑健性と一般化性能にどのような影響を与えるか？

主な発見

• OwlはOwl-Benchベンチマークで、9つのITオペレーション分野すべてにおいて、既存の大規模言語モデルを上回る優れた性能を示した。
• 混合アダプタ戦略は、パラメータ効率的な微調整により、多様なITタスクへの適応性を高めるうえで、インストラクションチューニングの性能を顕著に向上させた。
• ログパースィングタスクでは、F1スコアおよびパースィング正確性の両面で、過去のモデルを上回る最先端の結果を達成した。
• ログ異常検出においては、強いゼロショット一般化性能を示したが、ドメイン内ログデータが限られているため、性能はやや限定的であった。これは、重要な課題を示している。
• フェイシングショットおよびゼロショット設定においても、Owlは質問応答および多肢選択タスクで強力な性能を維持しており、効果的なフェイシングショット学習能力を示している。
• Owl-Benchベンチマークは、幅広いITオペレーションタスクをカバーするLLMの評価に成功し、今後の研究における標準化された評価フレームワークを提供した。