[論文レビュー] Large Language Models for Failure Mode Classification: An Investigation

Michael Stewart, Melinda Hodkiewicz+1 more|arXiv (Cornell University)|Sep 15, 2023

Text Readability and Simplification被引用数 7

ひとこと要約

本論文は、大規模言語モデル（LLMs）を故障モード分類（FMC）に用いることの有効性を調査し、小規模で高品質なアノテート済みデータセットに対してGPT-3.5をファインチューニングすることで、F1=0.80の高い性能が得られることを示している。これは、ベースラインのテキスト分類器（F1=0.60）およびゼロショットのGPT-3.5（F1=0.46）よりも顕著に優れている。本研究により、ドメイン特化型のメンテナンスタスクにおいて、高精度を達成するにはファインチューニングが不可欠であることが明らかになった。

ABSTRACT

In this paper we present the first investigation into the effectiveness of Large Language Models (LLMs) for Failure Mode Classification (FMC). FMC, the task of automatically labelling an observation with a corresponding failure mode code, is a critical task in the maintenance domain as it reduces the need for reliability engineers to spend their time manually analysing work orders. We detail our approach to prompt engineering to enable an LLM to predict the failure mode of a given observation using a restricted code list. We demonstrate that the performance of a GPT-3.5 model (F1=0.80) fine-tuned on annotated data is a significant improvement over a currently available text classification model (F1=0.60) trained on the same annotated data set. The fine-tuned model also outperforms the out-of-the box GPT-3.5 (F1=0.46). This investigation reinforces the need for high quality fine-tuning data sets for domain-specific tasks using LLMs.

研究の動機と目的

• 産業用メンテナンスにおける重要なタスクである故障モード分類（FMC）に、大規模言語モデル（LLMs）の有効性を評価すること。
• ファインチューニングを施さずに、プロンプト工学のみで強力なFMC性能を達成できるかどうかを調査すること。
• ドメイン特化型のアノテート済みデータに対してLLMsをファインチューニングすることで、従来のテキスト分類モデルと比較してFMCの精度が向上するかどうかを特定すること。
• 推論の安定性、コスト、データプライバシーを含む、LLMsをFMCに導入する際の実用的障壁を評価すること。

提案手法

• 本研究では、主にGPT-3.5をLLMとして用い、FMCにおけるゼロショットプロンプティングとファインチューニング推論を評価する。
• プロンプト工学戦略を採用し、22種類のISO 14224故障モードコードのリストをシステムプロンプトに埋め込み、出力を制限する。
• メンテナンス作業指示書から抽出した、502組の（観察, ラベル）ペアから構成される洗練されたデータセットを用いてファインチューニングを実施し、検証用とテスト用にそれぞれ62件ずつを割り当てた。
• F1スコアを用いて性能を評価し、同じデータで学習したFlairベースのテキスト分類モデルと比較した。
• データセットは、名前付きエンティティ認識を用いて実際のメンテナンス作業指示書から故障観察を抽出し、ドメインスペシャリストがラベルを割り当てた。
• 推論はOpenAI APIを介して実施し、評価中に非決定的出力を低減するため、温度を0に設定した。

実験結果

リサーチクエスチョン

• RQ1 LLMがファインチューニングなしでFMCを実行できるようにするための、最も効果的なプロンプトフォーマットは何か？
• RQ2 LLMを用いたFMCで高い性能を達成するには、ファインチューニングが必要か？
• RQ3 同じFMCタスクにおいて、ファインチューニングされたLLMの性能は、Flairのような従来のテキスト分類モデルと比べてどうなるか？
• RQ4 産業現場でのFMCにLLMsを導入する際、どのような実用的課題が生じるか？

主な発見

• 小規模で高品質なアノテート済みデータセットに対してGPT-3.5をファインチューニングすることで、F1スコア0.80の高い性能が達成された。これは、ゼロショットのGPT-3.5（F1=0.46）を顕著に上回った。
• ファインチューニングされたLLMは、同じデータで学習したFlairベースのテキスト分類器（F1=0.60）よりも優れた性能を示した。
• ファインチューニングなしで行なったプロンプト工学のみのアプローチでは、性能が低かった（F1=0.46）。これは、FMCにおいて高い精度を達成するにはプロンプト設計だけでは不十分であることを示している。
• ファインチューニングされたLLMは、マイノリティの故障モードクラスにおいてもより優れた一般化性能を示した。これは、多様なコーパスで事前学習された広範な知識ベースのおかげだと考えられる。
• 推論は安定的かつコスト効率が良く、1回の実験あたり約1米ドルのコストに抑えられたが、推論中にレート制限や非決定的出力の問題が観察された。
• 本研究は、ドメイン特化型メンテナンス応用における効果的なLLMファインチューニングには、高品質なアノテート済みデータが不可欠であることを強調している。