[論文レビュー] Anticipating Safety Issues in E2E Conversational AI: Framework and Tooling

Emily Dinan, Gavin Abercrombie+5 more|arXiv (Cornell University)|Jul 7, 2021

Topic Modeling参考文献 186被引用数 16

ひとこと要約

この論文は、毒性生成や文脈的に有害な応答といったリスクに対処する、エンドツーエンド（E2E）会話型AIモデル向けの安全フレームワークとツールキットを提示する。毒性生成や文脈的有害性、価値感受性設計に基づく責任ある展開をカバーする。

ABSTRACT

Over the last several years, end-to-end neural conversational agents have vastly improved in their ability to carry a chit-chat conversation with humans. However, these models are often trained on large datasets from the internet, and as a result, may learn undesirable behaviors from this data, such as toxic or otherwise harmful language. Researchers must thus wrestle with the issue of how and when to release these models. In this paper, we survey the problem landscape for safety for end-to-end conversational AI and discuss recent and related work. We highlight tensions between values, potential positive impact and potential harms, and provide a framework for making decisions about whether and how to release these models, following the tenets of value-sensitive design. We additionally provide a suite of tools to enable researchers to make better-informed decisions about training and releasing end-to-end conversational AI models.

研究の動機と目的

• 未加工のインターネットデータで学習されたエンドツーエンド（E2E）会話型AIモデルにおける有害出力の増加リスクに対処する。
• 会話型システムに特有の安全上の懸念事象、特にインスタレーター（Tay）効果とイエーサイヤー（ELIZA）効果を特定・分類する。
• 価値感受性設計に基づく意思決定フレームワークを構築し、会話型AIの責任あるリリースを支援する。
• 研究者がモデル開発および展開段階で安全リスクを評価・テスト・緩和できる実用的ツールを提供する。
• 社会的価値の変化に応じて進化するベンチマークと生涯学習メカニズムを提唱することで、長期的な適応性を促進する。

提案手法

• リスクを分類する3段階の安全フレームワークを提案：インスタレーター（Tay）効果（毒性生成）、イエーサイヤー（ELIZA）効果（文脈的有害な同意）、危機対応不能（ユーザーの苦痛に適切に対応しない）。
• 価値感受性設計の原則を統合し、モデル開発およびリリース意思決定段階で倫理的価値、潜在的利点、リスクのバランスをとる。
• 文脈認識評価と敵対的テスト手順を含む、安全上の問題を検出・測定するためのツールセットを開発する。
• 事実の整合性を向上させ、幻覚を低減するために、リtrieval増強生成とグランドティング技術を推奨する。
• 動的評価ベンチマーク（例：Dynabench）を導入し、誤った相関関係を検出するとともに、変化する社会的規範に適応する。
• パンデミックに伴う行動変化などの急激な価値の変化に適応できるよう、生涯学習やオンラインファインチューニングを支援する。

実験結果

リサーチクエスチョン

• RQ1 研究者が単なる毒性検出を越えて、エンドツーエンド会話型AIモデルにおける安全リスクを体系的かつ分類的に予測・分類する方法は何か？
• RQ2 会話型エージェントに特有の主な安全上の懸念事象とは何か？また、汎用言語モデルのリスクとはどのように異なるか？
• RQ3 価値感受性設計の原則を、会話型AIにおける責任あるモデルリリース意思決定を支援するためにどのように実装できるか？
• RQ4 研究者が訓練および展開段階で有害行動を検出・緩和するための、どのようなツールと評価手法が有効か？
• RQ5 ベンチマークとモデルアーキテクチャは、変化する社会的価値と倫理基準にどのように対応して進化すべきか？

主な発見

• インターネットデータからのデータ汚染のため、モデルが自発的に攻撃的コンテンツを生成するインスタレーター（Tay）効果は、依然として深刻なリスクのままである。
• 文脈的推論が欠如しているため、有害な発言に無批判に賛同するイエーサイヤー（ELIZA）効果は、会話型システムにおいて特有の危険性をもたらす。
• ユーザーが苦痛に陥っている際に適切に対応できない危機対応不能は、深刻な現実世界の結果、ひいては命の危険を伴う可能性がある。
• 現在の評価ベンチマークは、VQAやミスの理論的思考タスクで示されるように、誤った相関関係やアーティファクトを検出できないことが多く、ダイナミックで敵対的評価（例：Dynabench）が不可欠である。
• 静的LLMはパンデミック制限などの急激な社会的価値の変化に適応できないため、生涯学習またはオンライン学習フレームワークの導入が不可欠である。
• リtrieval増強生成とグランドティング技術は、外部知識で応答を制約することで、事実の整合性を向上させ、安全でない生成を低減する。