[論文レビュー] Domain Specific Specialization in Low-Resource Settings: The Efficacy of Offline Response-Based Knowledge Distillation in Large Language Models

Erdem Aslan, Pakize Erdoğmuş|arXiv (Cornell University)|Jan 5, 2026

Topic Modeling被引用数 0

ひとこと要約

オフライン応答ベースの知識蒸留アプローチは、制約されたハードウェア下で高精度な domain expert LLM を実現し、500行のコンテキスト対応データセットで 96.7% の精度と堅牢な拒否能力を達成します。

ABSTRACT

Large Language Models (LLMs) excel in general tasks but often struggle with hallucinations when handling domain-specific or institutional knowledge absent from their pre-training. We present an offline response-based knowledge distillation method that develops high-accuracy specialized assistants under constrained hardware resources. We evaluate three distinct data strategies: general domain adaptation (15,000 lines), unstructured knowledge injection (2,000 lines), and a context-aware synthetic dataset (500 lines) generated by a teacher model. To minimize computational costs, we utilize the Unsloth library to optimize the Qwen-2.5-7B student model, reducing NVIDIA A100 GPU memory requirements from 40 GB to 16 GB. Experimental results demonstrate that while larger unstructured datasets suffer from persistent hallucinations, the 500-line context-aware dataset achieves a 96.7% accuracy rate and robust rejection capability. These findings validate the LIMA hypothesis, showing that data quality and structural alignment are more critical than quantity for domain adaptation in low-resource settings.

研究の動機と目的

• 機関内の大規模ハードウェア資源を欠く環境における domain-specific で信頼性の高い LLM の必要性を動機づける。
• domain adaptation のための3つのデータ戦略を評価する：一般ドメインデータ、非構造化ローカルデータ、コンテキスト認識型合成データ。
• データの質と文脈 grounding が、低リソース環境でのドメイン適応におけるデータ量よりも優れていることを示す。
• ハードウェア効率的な手法（Unsloth、4-bit QLoRA）が消費者向けGPUでの訓練を可能にする。

提案手法

• オフライン応答ベースの知識蒸留設定を用いて、教師モデルから小型の学生モデル（Qwen-2.5-7B）へ推論を移す。
• 3つのデータ戦略を比較：一般目的データ（15,000 行）、非構造化ローカルデータ（2,000 行）、文脈認識データ（500 行）。
• 4 bit 量子化（QLoRA）と低順位適応（LoRA）をUnslothライブラリと併用し、VRAM 使用量を約60%削減（40 GB から 16 GB）、訓練を高速化。
• memorization を避けるため、文脈 grounding を伴う Instruction-Input-Output 形式で訓練データをGround化。
• 非適合リクエスト拒否を強制する Negative Sampling 戦略で頑健性を評価。
• LIMA 仮説を検証するため、3つの段階評価（ベースライン白箱、非構造化データの失敗、文脈認識蒸留）を使用。

実験結果

リサーチクエスチョン

• RQ1 オフライン応答ベースの蒸留で、ハードウェア制約下の小型 LLM に domain-specific の専門性を付与できるか。
• RQ2 文脈認識で証拠 grounding があるデータ形式は、より大きな一般データや非構造化データよりも domain adaptation に有利か。
• RQ3 Unsloth と QLoRA を用いた7Bモデルの institutional tasks における資源効率の向上はどれくらいか。
• RQ4 直接質問、一般質問、難問質問に対するモデルの精度と拒否性能はどうか。

主な発見

• 500行の文脈認識データセットで情報検索の精度が96.7%に達する。
• より大きな非構造化データセット（2,000 行）は幻 視により失敗；15,000 行の一般ドメインデータも性能が劣る。
• Unsloth と 4-bit QLoRA により VRAM が40 GBから16 GBに削減され、訓練が約2.1倍速くなる。
• モデルは Negative Sampling により非適合または規制違反リクエストを100%拒否する能力を達成。
• 7Bモデルのマルチステップ演算シナリオにおける推論の天井が露呈し、より優れた推論手法（例：DPO）が必要であることを示唆。
• 訓練100ステップは約2分程度で完了し、損失は約0.4へ急速に収束する。
• この方法は、消費者向けGPU上で機関内の LLM をオンプレミス開発することを可能にする。