[論文レビュー] Convo: What does conversational programming need? An exploration of machine learning interface design

Jessica Van Brummelen, Kevin Weng+2 more|arXiv (Cornell University)|Mar 3, 2020

Speech and dialogue systems参考文献 31被引用数 5

ひとこと要約

本研究では、Convo と呼ばれる会話型プログラミングシステムにおける音声、テキスト、マルチモーダル入力を評価し、ユーザーは経験水準に応じた柔軟な入力モードを好むことがわかった。主なデザイン要件は、マルチモーダル対応、可視化、ASR/NLUの向上、認知的負荷の低減であり、これらはプログラミング教育におけるアクセシビリティと学習を向上させる。

ABSTRACT

Vast improvements in natural language understanding and speech recognition have paved the way for conversational interaction with computers. While conversational agents have often been used for short goal-oriented dialog, we know little about agents for developing computer programs. To explore the utility of natural language for programming, we conducted a study ($n$=45) comparing different input methods to a conversational programming system we developed. Participants completed novice and advanced tasks using voice-based, text-based, and voice-or-text-based systems. We found that users appreciated aspects of each system (e.g., voice-input efficiency, text-input precision) and that novice users were more optimistic about programming using voice-input than advanced users. Our results show that future conversational programming tools should be tailored to users' programming experience and allow users to choose their preferred input mode. To reduce cognitive load, future interfaces can incorporate visualizations and possess custom natural language understanding and speech recognition models for programming.

研究の動機と目的

• 初心者および上級者ユーザーを対象に、会話型プログラミングにおける音声、テキスト、マルチモーダル入力の使いやすさと認知的負荷を調査する。
• 特に入力モalityの好みや学習成果に関する、会話型AIを用いたプログラミング分野における実証的研究の不足を解消する。
• 視覚的サポートなしで独立して運用可能な会話型コーディングシステムに、現在の自然言語理解（NLU）および音声認識（ASR）技術が十分であるかを評価する。
• 会話型プログラミングが、プログラミング教育における入り口の障壁を低減させ、計算的思考の発達を支援する方法を検討する。
• アクセシビリティと使いやすさを高めるための、根拠に基づいた設計提案を通じて、将来のインタラクティブな機械学習システムの設計を支援する。

提案手法

• 音声ユーザーインターフェース（VUI）、自然言語理解（NLU）、対話管理（DM）、プログラミングエンジン（PE）を備えた会話型プログラミングエージェント「Convo」を開発した。
• 初心者および上級プログラマーの45名を対象に、音声のみ、テキストのみ、音声またはテキストのマルチモーダルシステムを用いたユーザー研究を実施した。
• タスク完了時間、システムリセット回数、発話長、ヘルプ要請回数といった認知的負荷の指標として、定量的データを収集した。
• 使いやすさ、満足度、好み、体験に関するリッカート尺度および自由記述式の質問を通じて、定性的フィードバックを収集した。
• ユーザーの好み、システムパフォーマンス、デザイン上の課題に関するパターンを特定するため、主題的分析と定量的分析を実施した。
• 制限付きと制限なしの自然言語入力の影響、および可視化が認知的負荷を低下させる役割を検討した。

実験結果

リサーチクエスチョン

• RQ1 会話型プログラミングツールにおいて、ユーザーの経験水準に関係なく、音声、テキスト、マルチモーダルのうちどの入力モダリティが好まれるか？
• RQ2 音声、テキスト、音声またはテキストの異なる入力モダリティは、プログラミングタスク中の認知的負荷にどのように影響するか？
• RQ3 初心者と上級プログラマーは、会話型プログラミングシステムを使用する際、好みやパフォーマンスで異なるか？
• RQ4 視覚的サポートなしで、現在の音声認識（ASR）および自然言語理解（NLU）技術は、会話型コーディングに十分であるか？
• RQ5 制限付きか制限なしの自然言語入力のどちらが、会話型プログラミングインターフェースにおいてより効果的で使いやすいか？

主な発見

• 初心者ユーザーは上級者ユーザーに比べ、音声ベースのプログラミングに対してより楽観的であり、初心者にとって音声入力は入門の障壁を下げる可能性がある。
• 音声、テキスト、マルチモーダルの各システム間で、認知的負荷の指標（完了時間、リセット回数、ヘルプ要請回数）に有意差は認められず、タスク効率の観点からすべてのモードが有効であることが示された。
• ユーザーは一貫して、音声認識の向上と自然言語入力の制約の緩和を要請しており、現在のASRおよびNLU技術がプログラミング文脈では限界があることが浮き彫りになった。
• 音声のみのシステムを使用した際、ユーザーは視覚フィードバックの欠如により高い認知的負荷を感じており、これは認知的モデル構築を支援するための可視化の必要性を強調している。
• 「いいえ」や「いいえ、ありがとう」のような自然で制限のない言語入力と、即時のシステムフィードバックに対する強いユーザーの要望があり、これは対話的で反応の速いエージェントがユーザー体験を向上させることを示唆している。
• 本研究は、ユーザーの経験に応じて柔軟に適応し、入力モードの選択を許容するマルチモーダルな会話型プログラミングシステムの設計を支持する。これにより、不満や認知的ストレスが軽減される。