[논문 리뷰] ChatHome: Development and Evaluation of a Domain-Specific Language Model for Home Renovation

Wen Cheng, Xianghui Sun외 4명|arXiv (Cornell University)|2023. 07. 28.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 전문 기사, 표준 및 웹 콘텐츠로 구성된 정제된 데이터셋을 기반으로 도메인 적응형 사전학습과 지시 훈련을 통해 개발된 주거 리모델링 전용 언어 모델인 ChatHome을 소개한다. 모델는 새로운 도메인 벤치마크인 EvalHome에서 최신 기준 성능을 기록하며 69.03점의 점수를 기록했으며, 기초 모델과 지시 훈련 변종을 모두 앞서며, 도메인 적응 과정 중에 최종 응용 지시 데이터를 통합하는 것이 도메인 특화 정확도를 크게 향상시키지만 일반 능력은 유지함을 보여준다.

ABSTRACT

This paper presents the development and evaluation of ChatHome, a domain-specific language model (DSLM) designed for the intricate field of home renovation. Considering the proven competencies of large language models (LLMs) like GPT-4 and the escalating fascination with home renovation, this study endeavors to reconcile these aspects by generating a dedicated model that can yield high-fidelity, precise outputs relevant to the home renovation arena. ChatHome's novelty rests on its methodology, fusing domain-adaptive pretraining and instruction-tuning over an extensive dataset. This dataset includes professional articles, standard documents, and web content pertinent to home renovation. This dual-pronged strategy is designed to ensure that our model can assimilate comprehensive domain knowledge and effectively address user inquiries. Via thorough experimentation on diverse datasets, both universal and domain-specific, including the freshly introduced "EvalHome" domain dataset, we substantiate that ChatHome not only amplifies domain-specific functionalities but also preserves its versatility.

연구 동기 및 목표

• 일반 LLM이 ChatGPT와 같이 환각 현상이나 정밀도 부족을 보이는 주거 리모델링 도메인에서의 전문 언어 모델 부족 문제를 해결하기 위해.
• 디자인, 건설 및 공간 기획 등 복잡하고 다학제적인 요구사항을 충족시키기 위해 고정밀도, 도메인 인지 기반의 언어 모델을 개발하기 위해.
• 도메인 적응형 사전학습 후 지시 훈련을 통해 도메인 특화 성능과 일반 능력이 향상되는지 평가하기 위해.
• 주거 리모델링 분야의 도메인 특화 LLM 평가를 가능하게 하기 위해 새로운 벤치마크 데이터셋인 EvalHome을 도입하기 위해.

제안 방법

• 국가 표준, 책, 웹 기사 등을 포함한 정제된 주거 리모델링 콘텐츠 코퍼스를 기반으로 Baichuan-13B 기초 모델을 도메인 적응형 사전학습(DAPT)으로 미세조정하였다.
• 일반 지식 균형을 유지하기 위해 WuDaoCorpora에서 일반 코퍼스를 구축하였다.
• 주거 리모델링 프롬프트에서 파생된 질문-답변 쌍을 사용하여 지시 훈련을 적용하여 모델을 사용자 지시 작업에 맞추었다.
• DAPT 단계 동안 도메인 사전학습 데이터와 지시 데이터를 결합함으로써 다중 작업 지시 사전학습(MIP) 전략을 도입하여 추가 일반 데이터 없이도 성능 향상을 이뤘다.
• 도메인 전문성과 일반화 능력 간의 트레이드오프를 평가하기 위해 일반 벤치마크(C-Eval, CMMLU)와 새로운 도메인 특화 EvalHome 데이터셋에서 모델 성능을 평가하였다.
• 도메인 데이터와 일반 데이터 간의 최적 비율을 도출하기 위해 데이터 비율 분석(1:0에서 1:10)을 수행하였으며, 성능 측면에서 가장 우수한 균형을 이룬 1:5 비율을 도출하였다.

실험 결과

연구 질문

• RQ1 일반 목적 모델과 비교해 볼 때, 도메인 적응형 사전학습 후 지시 훈련을 통해 대규모 언어 모델의 주거 리모델링 작업 성능이 유의미하게 향상되는가?
• RQ2 도메인 특화 및 일반 코퍼스 간 최적의 데이터 비율은 무엇이며, 이는 도메인 특화 정확도와 일반 능력 유지의 최적 균형을 이끌 수 있는가?
• RQ3 도메인 적응형 사전학습 단계에서 최종 응용 지시 데이터를 통합하는(MIP) 것이 사전학습 후 단일 지시 훈련보다 더 나은 성능을 내는가?
• RQ4 새로운 전용 주거 리모델링 벤치마크인 EvalHome에서 ChatHome과 같은 도메인 특화 모델의 성능은 기초 모델과 지시 훈련 변종과 비교해 어떻게 되는가?
• RQ5 심화된 도메인 미세조정 후에도 일반 지식을 얼마나 잘 유지하는가? 이는 모델의 종합적 유용성에 어떤 영향을 미치는가?

주요 결과

• 지시 데이터를 도메인 적응형 사전학습 단계에 통합한 MIP 모델이 69.03점의 최고 EvalHome 점수를 기록하며, 기초 모델과 지시 훈련된 Baichuan-13B-Chat을 포함한 모든 변종을 앞섰다.
• DAPT에서 1:5 비율(도메인 대 일반 데이터)이 가장 우수한 균형을 이뤘으며, 기초 모델 대비 C-Eval과 CMMLU에서 각각 2.57점과 3.08점의 일반 능력 감소만을 보였다.
• DAPT 이후 지시 훈련을 수행하면 도메인 성능 향상이 가능하지만, MIP 접근법—동시에 도메인 및 지시 데이터로 훈련하는 방식—이 더 뛰어난 성능을 내어 두 단계 간 상호보완적 상호작용이 있음을 시사한다.
• MIP 모델은 최고의 도메인 특화 점수를 기록한 것 외에도 일반 벤치마크에서 높은 점수를 기록했으며(C-Eval: 49.07, CMMLU: 49.12), 일반화 능력에 심각한 손실가 없음을 시사한다.
• 정제된 고품질 리모델링 데이터에서 효과적인 지식 습득을 통해 EvalHome에서 도메인 특화 추론 및 사실 정확도 향상이 뚜렷하게 관찰되었다.
• 성과가 있었음에도 불구하고 여전히 환각 문제를 겪고 있어,未래 보다 정교한 개선을 위해 향후 검색 기반 생성 또는 강화 학습 통합이 필요하다.