[論文レビュー] Iris: A Conversational Agent for Complex Tasks

Ethan Fast, Binbin Chen+3 more|arXiv (Cornell University)|Jul 17, 2017

Data Stream Mining Techniques参考文献 38被引用数 14

ひとこと要約

Iris は、ドメイン固有言語と会話型型システムを用いて、単純な自然言語コマンドの組み合わせによって複雑なデータサイエンスタスクを実行する会話型エージェントである。非会話型プログラミング環境と比較して予測モデリングタスクで 2.6 倍の高速化を達成し、ユーザー主導で目的指向のワークフローを動的にコマンド組み合わせで実現することを示した。

ABSTRACT

Today's conversational agents are restricted to simple standalone commands. In this paper, we present Iris, an agent that draws on human conversational strategies to combine commands, allowing it to perform more complex tasks that it has not been explicitly designed to support: for example, composing one command to "plot a histogram" with another to first "log-transform the data". To enable this complexity, we introduce a domain specific language that transforms commands into automata that Iris can compose, sequence, and execute dynamically by interacting with a user through natural language, as well as a conversational type system that manages what kinds of commands can be combined. We have designed Iris to help users with data science tasks, a domain that requires support for command combination. In evaluation, we find that data scientists complete a predictive modeling task significantly faster (2.6 times speedup) with Iris than a modern non-conversational programming environment. Iris supports the same kinds of commands as today's agents, but empowers users to weave together these commands to accomplish complex goals.

研究の動機と目的

• 現在の会話型エージェントが単純で独立したコマンドしか処理できないという制限を解消すること。
• ユーザーが基本的なコマンドを自然言語インタラクションを通じて複数ステップの複雑なデータサイエンスワークフローに組み合わせて実行できるようにすること。
• ユーザーの意図と会話の文脈に基づいて、動的にコマンドを組み合わせて順序付けするシステムを設計すること。
• 明示的なプログラミングを必要とせずに、データの対数変換後にヒストグラムをプロットするような複雑なデータサイエンスタスクをサポートすること。
• 会話型コマンドの組み合わせが、現実のデータサイエンスワークフローにおけるタスク完了速度と使いやすさを向上させるかどうかを評価すること。

提案手法

• Iris はドメイン固有言語（DSL）を用いて、自然言語コマンドをプログラム実行可能な有限状態オートマトンに変換する。
• システムは会話型型システムを採用し、コマンドの組み合わせの整合性を検証・管理することで、意味的整合性を保証する。
• ユーザーとの繰り返しの対話によってコマンドが動的に組み合わされ、順序付けされ、ユーザーが段階的に複雑なワークフローを構築できる。
• エージェントはスタンドアロンコマンドと複合ワークフローの両方をサポートし、データ変換や可視化などの操作をチェーンして実行できる。
• 自然言語理解と実行可能なプログラム表現を統合することで、柔軟でインタラクティブなタスク実行を可能にするアーキテクチャを採用している。
• 評価は、非会話型プログラミング環境と比較してタスク完了時間を測定する現実の予測モデリングタスクを用いて実施した。

実験結果

リサーチクエスチョン

• RQ1 会話型エージェントは、複数の単純なコマンドを複雑で多段階のデータサイエンスワークフローに効果的に組み合わせることができるか？
• RQ2 自然言語による対話によるコマンドの組み合わせは、データサイエンス分野におけるタスク完了速度にどのように影響するか？
• RQ3 多様なコマンドを会話環境で組み合わせる際、意味的整合性を保つために必要なメカニズムは何か？
• RQ4 コードを書かずに、自然言語とコマンドの組み合わせのみで、ユーザーが複雑なデータサイエンスの目標を達成できる範囲はどの程度か？
• RQ5 動的コマンド組み合わせを備えた会話型エージェントのパフォーマンスは、従来の非会話型プログラミング環境と比べてどの程度優れているか？

主な発見

• Iris を用いることで、ユーザーは現代の非会話型プログラミング環境と比較して、予測モデリングタスクを 2.6 倍速く完了できる。
• システムは、データの対数変換後にヒストグラムをプロットするようなコマンドの組み合わせを効果的にサポートし、動的なワークフロー作成を実証した。
• 会話型型システムは、無効なコマンドの組み合わせを効果的に防止し、対話中に意味的整合性を維持した。
• ユーザーはコードを書かずに、自然言語による表現とコマンドの組み合わせに依存して、複雑なデータサイエンスの目標を達成できた。
• ドメイン固有言語とオートマトンベースの実行モデルにより、会話的文脈において信頼性が高く拡張性のあるコマンド実行が可能になった。
• 結果から、会話型エージェントは柔軟で目的指向のコマンド組み合わせを支援することで、データサイエンス分野における生産性を顕著に向上させられると示された。