[論文レビュー] Self-QA: Unsupervised Knowledge Guided Language Model Alignment

Xuanyu Zhang, Qing Yang|arXiv (Cornell University)|May 19, 2023

Topic Modeling被引用数 5

ひとこと要約

Self-QA は、人間が書いたシードデータに依存せずに、大規模な非教師あり知識を活用することで、ドメイン固有の高品質な指令微調整データを生成する教師なしフレームワークを提案する。2段階のプロセスとして、知識を用いた指令生成と機械読解を組み合わせることで、正確で多様性に富み、形式的にも正しい質問・回答ペアを生成し、人的アノテーションの負荷を著しく低減するとともに、ドメイン固有のタスクにおけるモデル性能を向上させる。

ABSTRACT

Large-scale language models like ChatGPT and GPT-4 have gained attention for their impressive conversational and generative capabilities. However, the creation of supervised paired question-answering data for instruction tuning presents formidable challenges. This endeavor necessitates substantial human effort for data annotation and wrestles with issues concerning data quality, diversity, accuracy, and other related factors. To overcome these obstacles, we introduce an innovative framework named Self-QA, which replaces the traditional practice of human-written instruction seeds with a vast amount of unsupervised knowledge, enabling the model to generate a larger quantity of correct and domain-specific instruction data. The effectiveness of our proposed method is demonstrated through experiments conducted on unsupervised corpora from various domains.

研究の動機と目的

• 大規模言語モデルのための人的アノテーションによる指令微調整データの高コストとスケーラビリティの制限を解消すること。
• 従来の自己整合性手法で用いられる少量の人的に書かれた指令シードに依存することを排除すること。
• 非教師あり知識ソースを活用して、多様で正確でドメイン固有の指令データを生成すること。
• 構造的・非構造的な非教師ありコーパスを活用することで、指令微調整モデルの正確性と信頼性を向上させること。
• 外部リtrievalシステムを必要とせず、形式の正確性とコンテンツの忠実性を保ったまま、エンドツーエンドでスケーラブルな指令データ生成を可能とすること。

提案手法

• 構造的および非構造的な非教師ありコーパスを、指令生成の主な知識ソースとして使用する。
• 2段階パイプラインを採用する：まず知識から指令従属プロンプトを生成し、次に機械読解により回答を生成する。
• ルールベースのヒューリスティクスと後処理フィルタを適用して、誤りのある出力、パース不能な出力、形式違反のある出力を除去する。
• 自己完結型の質問・回答ペアを保証するため、モデルに代名詞や外部参照を避けるように指示する。
• 生成された指令データを用いて BLOOM-7B を微調整し、ドメイン固有のタスクにおける性能を評価する。
• モデル内にパrametric形式で知識を統合し、外部リtrievalシステムを必要としないエンドツーエンドの学習を可能にする。

Figure 1: The pipeline of Self-QA .

実験結果

リサーチクエスチョン

• RQ1 非教師あり知識ソースは、自己整合性フレームワークにおける人的に書かれた指令シードに効果的に置き換え可能か？
• RQ2 人的な監視なしで、自己生成された指令データがどれほど正確性とドメイン固有性を維持できるか？
• RQ3 指令生成と回答生成の2段階プロセスは、単一段階の生成と比較して、出力品質および形式遵守性においてどのように異なるか？
• RQ4 生成された指令データは、ドメイン固有の質問・回答タスクにおける微調整モデルの性能を向上させることができるか？
• RQ5 後処理フィルタは、自己生成指令データの信頼性およびパース可能성을確保するために果たす役割は何か？

主な発見

• Self-QA は、非教師あり知識から指令微調整データを効果的に生成し、人的に書かれたシードの必要性を完全に排除した。
• Self-QA が生成したデータで微調整されたモデルは、ドメイン固有の質問（例：DXM の設立年と本部所在地）に対して正しく回答するが、ChatGPT は誤った回答を示す。
• 後処理フィルタは、形式違反や意味的に誤った出力を効果的に除去し、データ品質を向上させた。
• 2段階生成プロセスは、単一段階の代替手法と比較して、より高品質で正確かつ適切に形式化された指令・回答ペアを生成した。
• 本手法は、従来の自己整合性アプローチと比較して、正確性と多様性に優れたスケーラブルなドメイン固有の指令データ生成を可能にした。
• 本フレームワークは、外部リtrievalシステムを必要とせず、パラメトリックな知識統合が信頼性のある指令微調整を可能にすることを示した。

Figure 2: Examples of transformation of unsupervised structured data.