[論文レビュー] Report from the NSF Future Directions Workshop, Toward User-Oriented Agents: Research Directions and Challenges

Maxine Eskénazi, Tiancheng Zhao|arXiv (Cornell University)|Jun 10, 2020

Topic Modeling参考文献 134被引用数 6

ひとこと要約

本論文は、エージェントの能力からユーザーのニーズ、満足度、倫理的整合性へと焦点を移す、ユーザー中心の知的エージェント研究アジェンダを提唱する。多様な分野の統合的アプローチ、プライバシーを守るデータ手法、敵対的耐性、標準化された評価を推進することで、現実世界での信頼性があり、適応的で安全なエージェントを実現することを目的としている。

ABSTRACT

This USER Workshop was convened with the goal of defining future research directions for the burgeoning intelligent agent research community and to communicate them to the National Science Foundation. It took place in Pittsburgh Pennsylvania on October 24 and 25, 2019 and was sponsored by National Science Foundation Grant Number IIS-1934222. Any opinions, findings and conclusions or future directions expressed in this document are those of the authors and do not necessarily reflect the views of the National Science Foundation. The 27 participants presented their individual research interests and their personal research goals. In the breakout sessions that followed, the participants defined the main research areas within the domain of intelligent agents and they discussed the major future directions that the research in each area of this domain should take

研究の動機と目的

• エージェントの性能と実際のユーザー満足度の間のギャップを是正するため、エージェント中心の指標からユーザーの成果に研究の焦点を移す。
• 1990年代のASRの落ち込みのような過去のAI資金枯渇の再発を防ぐため、倫理的で透明性があり、信頼性のあるエージェント行動によってユーザーの信頼を確保する。
• 再現可能性を支援する研究基盤を整備する。具体的には、オープンソースツール、共通タスク、標準化された評価プラットフォームを含む。
• エージェントが攻撃的言語やバイアスといった有害な行動を検出できるように、敵対的入力に対して耐性を持たせ、その対策を講じる。
• 研究における倫理基準を確立する。提案書への倫理的配慮の義務化、学生教育、一般向け啓発活動を含む。

提案手法

• エージェントの出力品質の評価から、対話的で現実世界の対話環境におけるユーザー満足度や有用性の評価へと移行する。
• エージェントの「運転免許」の概念を提唱する。これは、導入前にエージェントの品質を保証するための標準化され、包括的な評価フレームワークである。
• 感覚的データ（音声、テキスト、ビジョン）を匿名化する際に情報損失を最小限に抑えるプライバシー保護アルゴリズムを開発する。
• 攻撃的言語、誤情報、バイアスといった不適切なエージェント行動を検出・是正するための強固な検出システムを構築する。
• 特にマイクロソフトのTayのような継続的学習システムにおいて、敵対的ユーザー入力に対して耐性を持つようにエージェントを設計する。
• 共有研究プラットフォームとオープンデータを推進し、データシートを用いて対話研究における透明性と再現可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 知的エージェント研究は、エージェント生成出力の質よりも、ユーザー満足度や有用性を優先するために、どのように再編成できるか？
• RQ2 展開済みエージェントの信頼性と安全性を保証するためには、どのような標準化された評価フレームワークが必要か？
• RQ3 特にマルチモーダルおよび音声ベースのシステムにおいて、モデルの有用性を損なわせることなく、訓練データにおけるプライバシーをどのように守れるか？
• RQ4 バイアス、誤情報、攻撃的言語といった有害なエージェント行動をリアルタイムで検出し、防止するための方法は何か？
• RQ5 現実世界の対話データの恩恵を受ける一方で、敵対的ユーザー入力に対してエージェントをどのように耐性を持たせられるか？

主な発見

• BLEUのような現在の評価指標は、実際の対話の成功やユーザー満足度と相関が取れず、エージェント評価における深刻な欠陥を示している。
• 2016年のマイクロソフトTayの事例（16時間で停止）は、学習ベースのエージェントにおいて敵対的耐性が急務であることを示している。
• シミュレートされたユーザーおよび報酬付きユーザーは、実際のユーザー行動を信頼性を持って反映していないため、対話システムの評価の妥当性を損なっている。
• 提案書や学生教育における倫理的配慮の義務化を含む、倫理的研究慣行の必要性が高まっている。
• 共通タスクやドキュメント化された事前学習モデルを含む、標準化され、オープンで再利用可能な研究基盤は、再現性と進歩のための不可欠な要素である。
• エージェントの「運転免許」—包括的かつ多面的な評価—を開発することで、一般公開前の安全性と信頼性を保証すべきである。