[論文レビュー] ChatHome: Development and Evaluation of a Domain-Specific Language Model for Home Renovation

Wen Cheng, Xianghui Sun+4 more|arXiv (Cornell University)|Jul 28, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、専門的な記事、基準、Webコンテンツから構成される洗練されたデータセットを用いたドメイン適応的事前学習とインstructチューニングにより開発された、住宅リフォームを対象とするドメイン特化型言語モデル、ChatHomeを紹介する。モデルは新規のドメインベンチマーク（EvalHome）において最先端の性能を達成し、69.03のスコアを記録。これは、ベースモデルおよびインstructチューニング版を上回り、ドメイン適応段階でダウンストリームのインストラクションデータを統合することで、一般能力を損なうことなくドメイン特化精度を顕著に向上させられることを示している。

ABSTRACT

This paper presents the development and evaluation of ChatHome, a domain-specific language model (DSLM) designed for the intricate field of home renovation. Considering the proven competencies of large language models (LLMs) like GPT-4 and the escalating fascination with home renovation, this study endeavors to reconcile these aspects by generating a dedicated model that can yield high-fidelity, precise outputs relevant to the home renovation arena. ChatHome's novelty rests on its methodology, fusing domain-adaptive pretraining and instruction-tuning over an extensive dataset. This dataset includes professional articles, standard documents, and web content pertinent to home renovation. This dual-pronged strategy is designed to ensure that our model can assimilate comprehensive domain knowledge and effectively address user inquiries. Via thorough experimentation on diverse datasets, both universal and domain-specific, including the freshly introduced "EvalHome" domain dataset, we substantiate that ChatHome not only amplifies domain-specific functionalities but also preserves its versatility.

研究の動機と目的

• 一般言語モデル（LLM）が住宅リフォーム分野においてしばしば事実を捏造したり、精度に欠けたりするという点を是正するため、住宅リフォーム分野における特化型言語モデルの不足に応えること。
• 設計、施工、空間計画を含む、複雑で多分野にわたる住宅リフォームの要件に適合した、高忠実度でドメインに配慮した言語モデルを構築すること。
• ドメイン適応的事前学習に続くインストラクションチューニングが、ドメイン特化性能と一般能力の両方を向上させるかどうかを評価すること。
• 住宅リフォーム分野におけるドメイン特化型LLMの厳密な評価を可能にするために、新規のベンチマークデータセット、EvalHomeを導入すること。

提案手法

• 住宅リフォーム関連コンテンツ（国家基準、書籍、Web記事など）から構成される洗練されたコーパスを用いて、Baichuan-13Bベースモデルをドメイン適応的事前学習（DAPT）で微調整した。
• 一般知識のバランスを維持するために、WuDaoCorporaから一般コーパスを構築した。
• 住宅リフォームのプロンプトから抽出した質疑応答ペアを用いて、インストラクションチューニングを実施し、モデルをユーザーの指示タスクに適合させた。
• ドメイン事前学習段階でドメインデータとインストラクションデータを統合する「マルチタスクインストラクション事前学習（MIP）」戦略を導入し、追加の一般データなしで性能向上を達成した。
• ドメイン特化型ベンチマーク（EvalHome）と一般ベンチマーク（C-Eval、CMMLU）の両方でモデル性能を評価し、ドメイン専門性と一般化能力のトレードオフを分析した。
• ドメインデータと一般データの比率（1:0～1:10）を分析し、最適なバランスを特定。1:5が性能の最良の妥協点であると判明した。

実験結果

リサーチクエスチョン

• RQ1 一般用途のモデルと比較して、ドメイン適応的事前学習に続くインストラクションチューニングが、住宅リフォームタスクにおける大規模言語モデルの性能を顕著に向上させるか？
• RQ2 ドメイン特化コーパスと一般コーパスの最適なデータ比率は何か？ これは、ドメイン特化精度と一般能力の保持を両立させるために必要不可欠である。
• RQ3 ドメイン適応的事前学習段階でダウンストリームのインストラクションデータを統合する（MIP）ことで、DAPT後にインストラクションチューニングを実施するのと比較して、より優れた結果が得られるか？
• RQ4 新規の専用住宅リフォームベンチマーク（EvalHome）において、ChatHomeのようなドメイン特化型モデルは、ベースモデルやインストラクションチューニング版と比較して、どの程度優れているか？
• RQ5 広範なドメイン微調整を経た後でも、モデルは一般知識をどの程度保持しているのか？ これは、モデル全体の実用性にどのように影響するか？

主な発見

• インストラクションデータをドメイン適応的事前学習段階に統合したMIPモデルが、69.03という最高のEvalHomeスコアを記録し、ベースモデルおよびインストラクションチューニング版Baichuan-13B-Chatをすべて上回った。
• DAPTにおける1:5のデータ比率（ドメイン対一般）が最良のバランスを示し、C-EvalとCMMLUでそれぞれ2.57点および3.08点の一般能力低下にとどまった。
• DAPT後にインストラクションチューニングを実施することでドメイン性能が向上したが、MIPアプローチ（ドメインデータとインストラクションデータを同時に学習）がより優れた結果をもたらした。これは、両段階の間で相乗効果があることを示している。
• MIPモデルは最高のドメイン特化スコアを達成しただけでなく、一般ベンチマークでも高いスコア（C-Eval: 49.07、CMMLU: 49.12）を記録し、一般化能力に顕著な低下がないことが示された。
• 洗練された高品質なリフォームデータから学習したことで、EvalHomeにおけるドメイン特化推論力と事実の正確性に顕著な向上が見られた。
• 一部の改善にもかかわらず、モデルは依然として捏造（ホールーシュレーション）の問題を示しており、今後のリカバリー増強生成や強化学習の統合によるさらなる最適化が求められる。