[論文レビュー] Validating Large Language Models with ReLM

Michael Kuchnik, Virginia Smith+1 more|arXiv (Cornell University)|Nov 21, 2022

Natural Language Processing Techniques被引用数 8

ひとこと要約

ReLMは、構造化された言語パターンを照会するための正規表現を用いて、大規模言語モデル（LLMs）の体系的検証を可能にする画期的なフレームワークである。正規表現パターンをLLM実行可能表現にコンパイルすることで、ReLMは一時的な照会手法と比較して最大15倍の効率性と2.5倍のデータ効率性を達成し、記憶、バイアス、毒性、知識の正確性を検出するためのスケーラブルで汎用的なベースラインを提供する。

ABSTRACT

Although large language models (LLMs) have been touted for their ability to generate natural-sounding text, there are growing concerns around possible negative effects of LLMs such as data memorization, bias, and inappropriate language. Unfortunately, the complexity and generation capacities of LLMs make validating (and correcting) such concerns difficult. In this work, we introduce ReLM, a system for validating and querying LLMs using standard regular expressions. ReLM formalizes and enables a broad range of language model evaluations, reducing complex evaluation rules to simple regular expression queries. Our results exploring queries surrounding memorization, gender bias, toxicity, and language understanding show that ReLM achieves up to 15x higher system efficiency, 2.5x data efficiency, and increased statistical and prompt-tuning coverage compared to state-of-the-art ad-hoc queries. ReLM offers a competitive and general baseline for the increasingly important problem of LLM validation.

研究の動機と目的

• 記憶、バイアス、毒性といったLLMの行動を体系的・スケーラブルかつ保守可能な方法で検証するための手法の欠如に対処すること。
• 保守・拡張が困難なコード中心のテストフレームワークに依存するのを減らすこと。
• テスト論理を正規表現として形式化することで、LLMの正確で構造化された評価を可能にすること。
• モデルの微調整や複雑なプロンプト工学を必要とせず、LLM検証における効率性とカバレッジを向上させること。
• 多様な言語的パターンをサポートする汎用的で照会駆動型のインターフェースを提供し、LLM評価を可能にすること。

提案手法

• ReLMは、ユーザーが提供する正規表現を、ターゲット文字列空間の決定的有限オートマトン（DFA）表現にコンパイルする。
• DFAは、LLMの自己回帰的デコードプロセスに統合可能なモデル固有の実行グラフにコンパイルされる。
• 推論中、ReLMは正規表現パターンに一致する文字列のみを生成するよう強制し、無効または予期しない出力を回避する。
• システムは、尤度に基づいて生成された文字列のスコアリングとランク付けを可能にし、正しさと好みの評価が可能になる。
• ReLMは、正規表現照会にタスク制約を直接埋め込むことでゼロショット評価を可能にし、微調整なしで精度を向上させる。
• 複数の評価タスクを正規表現パターンにマッピングすることで対応する：例えば、知識タスクでは日付フォーマット、バイアスタスクでは語の共起、毒性タスクでは有害語パターンを用いる。

実験結果

リサーチクエスチョン

• RQ1 正規表現を用いて、特定の言語的行動を体系的かつ効率的に大規模言語モデルに照会することは可能か？
• RQ2 ReLMは、一時的な照問手法と比較して、システム効率性、データ効率性、カバレッジの観点でどのように異なるか？
• RQ3 正規表現ベースの照問は、LLM評価タスクにおけるゼロショット性能をどの程度向上させ得るか？
• RQ4 ReLMは、従来の手法と比較して、記憶、バイアス、毒性をより高い正確性と低い偽陽性・偽陰性率で検出できるか？
• RQ5 ReLMの照問インターフェースは、知識、バイアス、毒性といった多様な評価タスクにどのようにスケーリングするか？

主な発見

• ReLMは、LLMの評価において、最先端の臨時的照問手法と比較して最大15倍の高いシステム効率性を達成した。
• データ効率性が最大2.5倍向上し、同等の評価タスクに必要な推論トークン数が削減された。
• ReLMは統計的およびプロンプトチューニングのカバレッジを向上させ、LLM行動のより包括的な評価を可能にした。
• ゼロショットLAMBADA評価では、正規表現ベースの照問制約のおかげで、ベースラインプロンプトと比較して最大30ポイントの精度向上が達成された。
• ジョージ・ワシントンの生誕日に関して、ReLMはGPT-2XLにおいて正しく日付をトップ10の予測に含めたが、標準的なクローズドチョイス設定ではモデルが失敗した。
• ReLMのアプローチは、自由記述形式や複数選択形式とは異なり、正規表現による構造化出力を強制することで、偽陽性および偽陰性を低減した。