[論文レビュー] Document-editing Assistants and Model-based Reinforcement Learning as a Path to Conversational AI

Katya Kudashkina, Patrick M. Pilarski+1 more|arXiv (Cornell University)|Aug 27, 2020

Topic Modeling参考文献 199被引用数 4

ひとこと要約

本稿では、会話型AIアシスタントの開発のための焦点的分野としてボイスドキュメント編集を提案し、モデルベース強化学習（MBRL）を用いて目的志向的で意図的な対話を可能にする。実際のユーザー相互作用から学習し、内部の世界モデルを構築することで、MBRLはアシスタントがユーザーの意図を理解し、動的に適応し、継続的なオンライン学習を通じて協働性を向上させることを可能にし、真に会話的で知的なアシスタントの実現に近づける。

ABSTRACT

Intelligent assistants that follow commands or answer simple questions, such as Siri and Google search, are among the most economically important applications of AI. Future conversational AI assistants promise even greater capabilities and a better user experience through a deeper understanding of the domain, the user, or the user's purposes. But what domain and what methods are best suited to researching and realizing this promise? In this article we argue for the domain of voice document editing and for the methods of model-based reinforcement learning. The primary advantages of voice document editing are that the domain is tightly scoped and that it provides something for the conversation to be about (the document) that is delimited and fully accessible to the intelligent assistant. The advantages of reinforcement learning in general are that its methods are designed to learn from interaction without explicit instruction and that it formalizes the purposes of the assistant. Model-based reinforcement learning is needed in order to genuinely understand the domain of discourse and thereby work efficiently with the user to achieve their goals. Together, voice document editing and model-based reinforcement learning comprise a promising research direction for achieving conversational AI.

研究の動機と目的

• ユーザーの意図を理解し、時間とともに適応する会話型AIアシスタントを構築する課題に対処すること。
• 会話と目的志向的行動の明確な文脈を提供する、タイトにスコープされた、アクセスしやすい分野—ボイスドキュメント編集—を特定すること。
• モデルベース強化学習（MBRL）が、アシスタントが内部の世界モデルを学習し、ユーザーの目的を効率的に推論できるようにする必要不可欠であると主張すること。
• 実際のユーザー相互作用からのオンライン学習を促進し、通信リソースを構築し、時間の経過とともにアシスタントのパフォーマンスを向上させること。
• ボイスドキュメント編集アシスタントを、真の理解力と適応性を備えた、より広範な会話型AIシステムを構築するための実験的基盤（テストベッド）として位置づけること。

提案手法

• アシスタントが自然言語コマンドを通じてテキストを変更するユーザーと対話する、制御された現実世界の分野としてボイスドキュメント編集を活用すること。
• モデルベース強化学習（MBRL）を適用し、相互作用から環境（すなわち、ドキュメントの状態変化）の予測モデルを学習可能にする。
• 実際のヒューマンコンピュータ相互作用からのオンライン学習を用いて、アシスタントを訓練し、動的な適応と通信戦略の共同開発を可能にする。
• クラウドソーシングによる発話データやMechanical Turk、または組織のワークフローからの編集ログといったオフラインデータセットを事前学習に活用し、初期の構造的および言語的知識を提供すること。
• 実際の相互作用データが限られる場合、特に初期開発段階では、シミュレーテッドユーザーまたは合成データパイプラインを用いてトレーニングデータを生成すること。
• MBRLにおける時間的に抽象化された行動（オプション）を活用し、高レベルの計画と推論を可能にし、アシスタントが部分目標のシーケンスとして複雑な編集タスクを管理できるようにすること。

実験結果

リサーチクエスチョン

• RQ1 ボイスドキュメント編集は、ユーザーの目的をより深く理解する会話型AIアシスタントの開発に適した、現実的で焦点的な分野として成立するか？
• RQ2 モデルベース強化学習（MBRL）は、ドキュメント編集の文脈において、アシスタントが内部の世界モデルを学習し、ユーザーの意図を推論できるようにする仕組みをどのように実現するか？
• RQ3 適応性と初期パフォーマンスの観点から、オンライン学習とオフライン学習の相対的利点は何か？
• RQ4 リアルタイムでの相互作用を通じて、ユーザーとアシスタントが共有理解や相互作用パターンといった通信リソースをどのように共同で開発できるか？
• RQ5 MBRLを用いて訓練されたボイス編集アシスタントは、単にコマンドを実行するのではなく、高レベルのユーザーの目的を理解し、それに応じて行動する、目的志向的行動をどの程度達成できるか？

主な発見

• ボイスドキュメント編集は、アシスタントとユーザーが共有の文脈を共同で構築できる明確に定義された、アクセスしやすい分野であり、会話型AIの研究に最適である。
• モデルベース強化学習（MBRL）は、アシスタントがドキュメント状態遷移の内部モデルを構築できることを可能にし、より効率的な計画立案と目的志向的行動を実現する。
• 実際のユーザー相互作用からのオンライン学習により、アシスタントは継続的に適応し、ユーザーとの間で通信戦略を共同で発展させることができ、長期的な協働性が向上する。
• オフラインデータセット（例：クラウドソーシングによる発話や編集シーケンス）を用いた事前学習により、初期段階でのパフォーマンス向上に不可欠な言語的および構造的知識を提供できる。
• MBRLにおける時間的に抽象化された行動（オプション）の活用により、高レベルの推論が可能となり、アシスタントは部分目標のシーケンスとして複雑な編集タスクを管理できる。
• 本稿で提案するアプローチは、ボイス編集アシスタントの発展を促進するだけでなく、より広範な分野における目的志向的かつ適応的AIアシスタントの構築に応用可能なインサイトを提供する。