[論文レビュー] Gaining Wisdom from Setbacks: Aligning Large Language Models via Mistake Analysis

Kai Chen, Chunwei Wang+12 more|arXiv (Cornell University)|Oct 16, 2023

Topic Modeling被引用数 4

ひとこと要約

本論文は、人間のアノテーションや外部モデルに依存せずに、大規模言語モデル（LLM）の安全性を向上させるために自己批判と誤り分析を活用する画期的なアライメントフレームワークを提案する。LLMに自身の有害な応答を晒し、誤りの理由を分析するように指示することで、誤りを高品質な学習データに変換する。この手法は、標準的なSFTやRLHF手法と比較して、有害な出力を顕著に低減しながらも、有用性を維持する点で顕著な優位性を示す。

ABSTRACT

The rapid development of large language models (LLMs) has not only provided numerous opportunities but also presented significant challenges. This becomes particularly evident when LLMs inadvertently generate harmful or toxic content, either unintentionally or because of intentional inducement. Existing alignment methods usually direct LLMs toward the favorable outcomes by utilizing human-annotated, flawless instruction-response pairs. Conversely, this study proposes a novel alignment technique based on mistake analysis, which deliberately exposes LLMs to erroneous content to learn the reasons for mistakes and how to avoid them. In this case, mistakes are repurposed into valuable data for alignment, effectively helping to avoid the production of erroneous responses. Without external models or human annotations, our method leverages a model's intrinsic ability to discern undesirable mistakes and improves the safety of its generated responses. Experimental results reveal that our method outperforms existing alignment approaches in enhancing model safety while maintaining the overall utility.

研究の動機と目的

• ノイズの多いウェブデータで訓練された場合に生じる有害で有毒な出力という、極めて重要な課題に対処すること。
• LLMが有害なパターンに汚染されずに、自身の誤りから学習できるかどうかを調査すること。
• 内在的な誤り分析を通じて誤った応答を再利用し、自己教師ありのアライメントフレームワークを構築すること。
• 最小限で代表的な誤りデータを用いて、アドバーシャルな指示攻撃に対してモデルの安全性と耐性を向上させること。
• 誤り分析が有害な生成を防ぐ「細粒度のマスク」として機能できることを示すこと、同時にモデルの有用性を保持すること。

提案手法

• ガイド付きの指示プロンプト（例：『有害、非倫理的、攻撃的』といったキーワードを含む）を用いて、アライメントされていないLLM（例：Alpaca）に有害な応答を生成させる。
• その後、モデルに自身の応答を分析させ、なぜ問題であるかを特定させる。これは、モデルが内在的に持つ誤りの識別能力を活用して誤りを評価する。
• 得られた誤り分析データを、標準的な役立つ・無害な指示-応答ペairと組み合わせ、教師あり微調整（SFT）によりモデルを微調整する。
• 誤り評価の質と深さを向上させるために、ガイド付きの分析プロンプト（『なぜその回答が有害である可能性があるかを分析せよ』）を用いる。
• 人間によるアノテーションデータやレーティングモデルに依存せず、モデルの自己批判能力にのみ依存する。
• 事前に存在する有害な応答と、モデルが生成した不適切な出力の両方を対象とし、誤りデータの出どころ、質、量を評価するアブレーションスタディを実施する。

Figure 1: Pipeline of alignment with mistake analysis. Different from existing works ( e.g. , SFT and RLHF) that focus on aligning LLMs with “error-free responses”, the proposed method deliberately exposes LLMs to harmful contexts to learn the reasons for mistakes.

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、外部の監視なしに、自身の有害な応答を効果的に特定・分析できるか？
• RQ2 自作の誤り分析を用いることで、標準的なSFTやRLHFと比較してアライメント性能が向上するか？
• RQ3 誤り分析データの質と量は、モデルの安全性と有用性にどのように影響するか？
• RQ4 限定的な代表的誤り分析データを用いて、アライメント済みモデルが新たなアドバーシャルな指示攻撃に対して効果的に防御できるか？
• RQ5 明示的なヒントを含むガイド付き誤り分析は、ガイドなしの分析よりも優れたアライメント結果をもたらすか？

主な発見

• 提案手法は、有用性と無害性のベンチマークで72.4%の有害応答率を達成し、ベースラインのAlpacaモデルを顕著に上回った。
• Alpaca自身が生成した誤りデータからの誤り分析を用いることで、無害性スコアは7.41に向上した（元のデータセットからの誤りを用いた場合は7.04）。
• ガイド付き誤り分析（明示的なプロンプトを用いる）では72.4%の無害性率を達成したが、ガイドなし分析では63.3%にとどまり、構造的な自己批判の重要性が示された。
• 元の誤りデータとモデルが誘発した誤りデータを組み合わせて誤り分析データ量を2倍にしたところ、性能が低下（無害性率71.2%に低下）した。これは、矛盾する分析がアライメントを劣化させることを示唆している。
• わずか数個の代表的誤り分析データのみで、アライメント済みモデルが新たな指示攻撃に対して効果的に防御できた。これは、優れた一般化性能を示している。
• 有害な生成を削減する点で、SFTおよびRLHFのベースラインを上回る優れた性能を達成した一方で、応答品質と有用性を高い水準で維持した。

Figure 4: Prompt templates for the proposed method based on mistake analysis.