[論文レビュー] Improving alignment of dialogue agents via targeted human judgements

Amelia Glaese, Nat McAleese+32 more|arXiv (Cornell University)|Sep 28, 2022

Topic Modeling被引用数 131

ひとこと要約

Sparrow は、ターゲットを絞った人間の判断とインライン証拠を用いて訓練された情報探索対話エージェントであり、ベースラインより好ましさが高く、ルール違反率が低く、事実主張の根拠を78%の頻度で提供します。

ABSTRACT

We present Sparrow, an information-seeking dialogue agent trained to be more helpful, correct, and harmless compared to prompted language model baselines. We use reinforcement learning from human feedback to train our models with two new additions to help human raters judge agent behaviour. First, to make our agent more helpful and harmless, we break down the requirements for good dialogue into natural language rules the agent should follow, and ask raters about each rule separately. We demonstrate that this breakdown enables us to collect more targeted human judgements of agent behaviour and allows for more efficient rule-conditional reward models. Second, our agent provides evidence from sources supporting factual claims when collecting preference judgements over model statements. For factual questions, evidence provided by Sparrow supports the sampled response 78% of the time. Sparrow is preferred more often than baselines while being more resilient to adversarial probing by humans, violating our rules only 8% of the time when probed. Finally, we conduct extensive analyses showing that though our model learns to follow our rules it can exhibit distributional biases.

研究の動機と目的

• 対話品質を自然言語ルールに分解し、人間の判断を導き、ターゲットを絞った報酬モデリングを改善する。
• 人間のフィードバックからの強化学習（RLHF）を用いて、好み（有用さ）とルール準拠性（害のなさ）の両方を最適化する。
• 事実の正確性と検証可能性を高めるために、インラインのウェブ証拠を取り入れる。
• 対話システムにおけるルールベースの抑制とRLHFに起因する分布特性とバイアスを分析する。

提案手法

• 有用性と正確さのためのルールベースの制約を定義し、ルールごとに人間の判断を収集する。
• 証拠を活用した回答のためのSearch QueryとSearch Resultを含む詳細な対話プロンプトを用いて、Chinchilla-70Bベースモデルに対して対話ターンを生成する。
• 2種類の人間データを収集する：ターンごとの応答好みと、ルール違反を検証するための敵対的探査。
• 2つの報酬モデルを訓練する：Preference Reward Model（全体的な応答品質のため）とRule Violation Reward Model（ルール遵守のため）。
• テスト時にリランキングを用いて報酬スコアに基づき複数の候補応答から選択する；結合目的を最適化するためにRL（A2C）で訓練する。
• ウェブ断片を取得してモデルの主張と並べて表示することで証拠を組み込み、信憑性と裏付けを評価する証拠整合信号を訓練する。
• 微調整時にはベースモデルの大部分を凍結し、報酬モデルとポリシー間で表現を共有する；Rule RMにはインストラクションチューニング風の目的を適用する。

実験結果

リサーチクエスチョン

• RQ1 対話の安全性をルールごとの判断に分解することで、RLHFの人間のフィードバックの効率と有効性を改善できるか？
• RQ2 インライン証拠を統合することで応答の事実の正確性と検証可能性が向上するか？
• RQ3 ターゲットを絞ったルールと証拠を用いたRLHFが、ユーザーが感じる有用性とモデルの安全性、特に敵対的探査への耐性にどのような影響を与えるか？
• RQ4 RLHFと証拠の根拠づけを介してルールベースの安全性を適用する際に生じる分布上のバイアスや有害性は何か？

主な発見

• Sparrowはプロンプト付きベースラインより好まれ、敵対的探査に対する回復力が高く、ターゲットとなる探査におけるルール違反は8%にとどまる。
• 証拠を組み込んだ応答はもっともらしく、提供されたウェブ断片によって78%の頻度で裏付けられている。
• リランキングとRLHFが好みの信号とルール遵守を組み合わせることで、ベースラインと比較してルール違反を減少させつつ高い好みを維持する。
• インライン証拠の提供は検証可能性と信頼性を高めるが、安全対策によって分布上のバイアスや有害性が拡大する可能性がある。
• ユーザーの好みを最適化することとルール違反を減らすことの間にはトレードオフがあり、安全性と有用性に関する従来の知見と一致している。