[論文レビュー] ProsocialDialog: A Prosocial Backbone for Conversational Agents

Hyunwoo Kim, Youngjae Yu+6 more|arXiv (Cornell University)|May 25, 2022

Topic Modeling被引用数 8

ひとこと要約

本稿では、常識的な社会的ルール・オブ・スミス（RoTs）に基づいて、危険・非倫理的・有毒なユーザー入力に対して親社会的行動を示す会話エージェントを訓練するための大規模なマルチターン対話データセット「ProsocialDialog」を紹介する（58,000件の対話、331,000件の発話）。人間とAIの協働フレームワークを用いて、作者らはRoT生成モデル「Canary」と社会的知見を反映した対話エージェント「Prost」を開発した。これらは、ゼロショット設定を含め、安全で社会的に適切な応答を生成する点で、最先端のモデルを顕著に上回った。

ABSTRACT

Most existing dialogue systems fail to respond properly to potentially unsafe user utterances by either ignoring or passively agreeing with them. To address this issue, we introduce ProsocialDialog, the first large-scale multi-turn dialogue dataset to teach conversational agents to respond to problematic content following social norms. Covering diverse unethical, problematic, biased, and toxic situations, ProsocialDialog contains responses that encourage prosocial behavior, grounded in commonsense social rules (i.e., rules-of-thumb, RoTs). Created via a human-AI collaborative framework, ProsocialDialog consists of 58K dialogues, with 331K utterances, 160K unique RoTs, and 497K dialogue safety labels accompanied by free-form rationales. With this dataset, we introduce a dialogue safety detection module, Canary, capable of generating RoTs given conversational context, and a socially-informed dialogue agent, Prost. Empirical results show that Prost generates more socially acceptable dialogues compared to other state-of-the-art language and dialogue models in both in-domain and out-of-domain settings. Additionally, Canary effectively guides conversational agents and off-the-shelf language models to generate significantly more prosocial responses. Our work highlights the promise and importance of creating and steering conversational AI to be socially responsible.

研究の動機と目的

• 非倫理的・有毒・問題のあるユーザー入力に対して適切に対応する能力を教える大規模かつマルチターンの対話データセットが不足しているという問題に対処すること。
• 回避や同意ではなく、社会的規範に基づいた親社会的行動を促進する、社会的責任を果たす対話システムの開発。
• 親社会的応答の根拠を捉える、細分化された根拠に基づく安全ラベルスキームの導入。
• 事前学習言語モデルの安全性と社会的適切さを向上させる再利用可能で一般化可能なフレームワークの構築。

提案手法

• 人間とAIの協働によるデータ収集パイプライン：GPT-3が危険性を有する可能性のあるユーザー発話を生成し、クラウドワーカーがルール・オブ・スミス（RoTs）に基づいた親社会的応答を提供。
• 58,000件の対話、331,000件の発話、160,000件の固有のRoTs、497,000件の安全ラベル（自由形式の根拠を含む）を有する大規模データセット（ProsocialDialog）の構築。
• 会話文脈から関連する社会的ルールを推論し、安全な応答をガイドするRoT生成モデル「Canary」の開発。
• 文脈的根拠を用いてRoTを同時に予測し、親社会的応答を生成する「Prost」という対話エージェントの設計。
• オフザシェル言語モデルがより親社会的出力を示すように、Canaryをゼロショットの安全モジュールとして適用。
• 自動指標（パープレキシティ）と人間評価（関与度、敬意、一貫性）を併用して、応答品質の評価。

実験結果

リサーチクエスチョン

• RQ1 社会的規範に基づいた大規模なマルチターン対話データセットは、会話エージェントの安全性と親社会的行動を向上させることができるか？
• RQ2 ルール・オブ・スミス（RoT）生成モデル（Canary）は、文脈から社会的に適切な応答戦略を同定するのにどの程度有効か？
• RQ3 RoTに基づくプロンプトは、ゼロショット設定において事前学習言語モデルの親社会的行動をどの程度向上させられるか？
• RQ4 親社会的対話エージェント（Prost）は、問題のある入力に対して、最先端のモデルと比較してどの程度社会的に適切な応答を生成できるか？
• RQ5 根拠を含む細分化された安全ラベルは、対話の安全性検出の解釈可能性と品質を向上させるか？

主な発見

• Prostはドメイン内およびドメイン外の両設定で最先端のモデルを上回り、対面評価において40.2％の総合人間好みスコアを達成し、ベースラインモデルよりも顕著に高い水準を示した。
• Canaryによるプロンプト誘導により、GPT-3の親社会的応答の割合が人間好み評価で27.3ポイント上昇（28.4％から55.7％に）。
• ProsocialDialogにおけるパープレキシティは10.13であり、InstructGPT（18.47）などのベースラインモデルよりも顕著に低く、応答のなめらかさと一貫性が優れていることを示した。
• 人間評価では、Prostは微調整済みDialoGPTよりも敬意を示し、一貫性があり、関与度の高い応答を生成しており、親社会的行動の好みが28.3％、一貫性の好みが24.1％であった。
• データセットの細分化された安全ラベルと根拠により、二値の安全ラベルよりも解釈性が高く、問題のあるコンテンツのより洗練された検出が可能になった。
• CanaryをGPT-3にゼロショットで適用した結果、親社会的応答の好みが55.7％に上昇し、実世界での展開においてRoTベースのプロンプト誘導の有効性が裏付けられた。