[論文レビュー] Assessing Political Prudence of Open-domain Chatbots

Yejin Bang, Nayeon Lee+3 more|arXiv (Cornell University)|Jun 11, 2021

Hate Speech and Cyberbullying Detection参考文献 24被引用数 4

ひとこと要約

本論文は、自動評価指標と人的評価を用いて、オープンドメインチャットボットにおける政治的慎重さを評価するための新規フレームワークを提示する。1,003件の合成された政治的文脈を含むテストセットを提案し、中立性、偏り、歪んだ応答率の観点からチャットボットを評価した結果、知識に基づくモデル（例：Blenderbot+Fact）は、やや人間らしさに劣るが、会話の魅力性が向上する反面、政治的慎重さが高まることが分かった。

ABSTRACT

Politically sensitive topics are still a challenge for open-domain chatbots. However, dealing with politically sensitive content in a responsible, non-partisan, and safe behavior way is integral for these chatbots. Currently, the main approach to handling political sensitivity is by simply changing such a topic when it is detected. This is safe but evasive and results in a chatbot that is less engaging. In this work, as a first step towards a politically safe chatbot, we propose a group of metrics for assessing their political prudence. We then conduct political prudence analysis of various chatbots and discuss their behavior from multiple angles through our automatic metric and human evaluation metrics. The testsets and codebase are released to promote research in this area.

研究の動機と目的

• 政治的敏感なトピックを避ける傾向があるオープンドメインチャットボットにおける政治的慎重さの評価が体系的に行われていないという問題に対処する。
• 毒性や不快な表現を超えて、政治的中立性、偏り、応答の歪みを捉える自動的および人的評価指標を開発する。
• 特に知識に基づくモデルと通常の生成モデルを比較し、中立的および偏った政治的入力状況下でのチャットボットの行動を分析する。
• 政治的慎重さ、会話の魅力性、安全性を高める研究を促進するために、テストセットとコードベースを公開する。
• チャットボット設計における政治的慎重さ、会話の魅力性、人間らしさのバランスを踏まえた実世界への導入を支援する。

提案手法

• YouGov、AllSides、IDRlabsなどの信頼できる出典から得た政治家、トピック、政治的信念を組み合わせたテンプレートを用いて、458件の中立的および545件の偏った政治的入力文脈のテストセットを構築する。
• 微調整されたBERTベースの分類器（F1 = 76.5%）を用い、チャットボットの応答における一部の言語的特徴を検出することで、過度な偏り（hyper-partisanship）を測定する。
• ユーザー入力に存在する政治的偏りを反映または拡大する応答を検出するための歪んだ応答指標を開発する。
• リtrieval-augmentedモデルにおける抽出知識の関連性と正確性を評価するための事実性指標を適用する。
• 人的評価を実施し、ペairwise比較を用いて、チャットボットの応答について会話の魅力性、人間らしさ、政治的慎重さを比較評価する。
• Blenderbot、PersonaChat、および知識に基づく変種（例：Blenderbot+Fact）を含む複数のモデルを、すべての指標で評価する。

実験結果

リサーチクエスチョン

• RQ1 さまざまなオープンドメインチャットボットは、政治的に敏感な入力に対して、どの程度政治的中立性と偏りを示すのか？
• RQ2 標準的な生成モデルと比較して、知識に基づくチャットボットは、偏ったユーザー入力にさらされた際に、どの程度中立性を維持できるのか？
• RQ3 チャットボットの応答において、政治的慎重さ、会話の魅力性、人間らしさの間には、どのようなトレードオフが存在するのか？
• RQ4 人的判断と比較して、自動指標は政治的慎重さをどの程度的確に捉えられるのか？
• RQ5 現在のセーフティレイヤーは、政治的コンテンツをどの程度効果的に検出できており、その改善にはどのような課題があるのか？

主な発見

• リtrieval-augmentedチャットボットであるBlenderbot+Factは、最も低いハイパーパートイズム率（1.7%）と歪んだ応答率（1.1%）を達成し、政治的中立性が最も高い行動を示した。
• 知識に基づくチャットボットであるBlenderbot+Factは、人間評価において会話の魅力性でBlenderbot（61.7%の勝率）およびPersonaChat（75%の勝率）を上回った。
• 政治的慎重さが高まったにもかかわらず、Blenderbot+Factは人間らしさで低いスコア（48.3%および41.7%の勝率）を記録しており、主に形式的かつ事実に基づいた応答が原因であった。
• 標準的な生成モデル（例：Blenderbot）は、より人間らしい応答（58.3%の人間らしさ勝率）を示したが、偏り（10.2%のハイパーパートイズム率）と歪み（12.3%）が顕著に高かった。
• セーフティレイヤーは、テストケースの14.86%で政治的コンテンツを検出できず、政治的コンテンツ検出の向上が求められることが示された。
• 事実の知識をステークホルダーの立場とは分離して組み込むことで、偏りが顕著に低減することが結果から示された。これは、リtrieval-augmented生成が政治的慎重さを高めることに寄与することを示唆している。