[논문 리뷰] Large Language Models for Failure Mode Classification: An Investigation

Michael Stewart, Melinda Hodkiewicz외 1명|arXiv (Cornell University)|2023. 09. 15.

Text Readability and Simplification인용 수 7

한 줄 요약

이 논문은 고장 유형 분류(Failure Mode Classification, FMC)에 대규모 언어 모델(Large Language Models, LLMs)을 사용하는 것을 조사하며, 소규모 고품질 주석 데이터셋에 GPT-3.5를 피팅(fine-tuning)하면 기존의 백그라운드 텍스트 분류기(F1=0.60)와 영향 없는 GPT-3.5(F1=0.46)에 비해 FMC 성능이 크게 향상됨(F1=0.80)을 보여주며, 도메인 특화 유지보수 작업에서 높은 정확도를 달성하기 위해 피팅이 필수적임을 입증한다.

ABSTRACT

In this paper we present the first investigation into the effectiveness of Large Language Models (LLMs) for Failure Mode Classification (FMC). FMC, the task of automatically labelling an observation with a corresponding failure mode code, is a critical task in the maintenance domain as it reduces the need for reliability engineers to spend their time manually analysing work orders. We detail our approach to prompt engineering to enable an LLM to predict the failure mode of a given observation using a restricted code list. We demonstrate that the performance of a GPT-3.5 model (F1=0.80) fine-tuned on annotated data is a significant improvement over a currently available text classification model (F1=0.60) trained on the same annotated data set. The fine-tuned model also outperforms the out-of-the box GPT-3.5 (F1=0.46). This investigation reinforces the need for high quality fine-tuning data sets for domain-specific tasks using LLMs.

연구 동기 및 목표

• 산업 유지보수에서 핵심 과제인 고장 유형 분류(Failure Mode Classification, FMC)에 대규모 언어 모델(Large Language Models, LLMs)의 효과성을 평가하는 것.
• 프롬프트 엔지니어링만으로도 피팅 없이도 강력한 FMC 성능을 달성할 수 있는지 조사하는 것.
• 도메인 특화 주석 데이터에 기반해 LLM을 피팅하면 기존의 전통적 텍스트 분류 모델에 비해 FMC 정확도가 향상되는지 판단하는 것.
• 추론 안정성, 비용, 데이터 프라이버시를 포함한 LLM을 FMC에 구현할 때 발생하는 실용적 장벽을 평가하는 것.

제안 방법

• 연구는 주로 GPT-3.5를 LLM으로 사용하며, FMC에 대해 영향 없는 프롬프트와 피팅된 추론을 평가한다.
• 프롬프트 엔지니어링 전략을 적용하여, 22개의 ISO 14224 고장 유형 코드 목록을 시스템 프롬프트에 통합하여 출력을 제약한다.
• 유지보수 작업 명세서에서 수집한 502개의 (관찰, 레이블) 쌍으로 구성된 정제된 데이터셋을 사용해 피팅을 수행하며, 검증용 및 테스트용으로 각각 62개씩 할당한다.
• 성능 평가에는 F1-스코어를 사용하며, 동일한 데이터로 훈련된 Flair 기반 텍스트 분류 모델과의 비교를 수행한다.
• 데이터셋은 명명된 실체 인식(Named Entity Recognition)을 사용해 실제 유지보수 작업 명세서에서 고장 관찰 사항을 추출하고, 도메인 전문가가 레이블을 할당하여 구성된다.
• 추론은 OpenAI API를 통해 수행되며, 평가 중 비결정성 출력을 줄이기 위해 온도를 0으로 설정한다.

실험 결과

연구 질문

• RQ1 LLM이 피팅 없이도 FMC를 수행할 수 있도록 하는 데 가장 효과적인 프롬프트 형식은 무엇인가?
• RQ2 LLM을 사용한 FMC에서 높은 성능을 달성하기 위해 피팅이 필수적인가?
• RQ3 동일한 FMC 과제에서 피팅된 LLM의 성능은 Flair와 같은 기존 텍스트 분류 모델과 비교해 어떻게 되는가?
• RQ4 산업 현장에서 LLM을 FMC에 구현할 때 발생하는 실용적 과제는 무엇인가?

주요 결과

• 소규모 고품질 주석 데이터셋에 GPT-3.5를 피팅한 결과, F1-스코어가 0.80에 도달하여, 영향 없는 GPT-3.5(F1=0.46)보다 유의미하게 뛰어난 성능을 보였다.
• 피팅된 LLM은 동일한 데이터로 훈련된 Flair 기반 텍스트 분류 모델(F1=0.60)보다도 뛰어난 성능을 기록했다.
• 피팅 없이 프롬프트 엔지니어링만으로는 성능이 열악했으며(F1=0.46), 이는 고장 유형 분류에서 높은 정확도를 달성하기 위해 프롬프트 설계만으로는 부족함을 시사한다.
• 피팅된 LLM은 소수의 고장 유형 클래스에 대해 더 우수한 일반화 성능를 보였으며, 다양한 코퍼스에 대한 사전 훈련으로 인한 광범위한 지식 기반 덕분으로 보인다.
• 추론은 안정적이고 비용 효율적이었으며, 각 실험에 약 1달러의 비용이 들었지만, 추론 중에 레이트 제한과 비결정성 출력이 관찰되었다.
• 이 연구는 도메인 특화 유지보수 응용 분야에서 효과적인 LLM 피팅을 위해 고품질 주석 데이터가 필수적임을 강조한다.