[論文レビュー] Towards Ecologically Valid Research on Language User Interfaces

Harm de Vries, Dzmitry Bahdanau+1 more|arXiv (Cornell University)|Jul 28, 2020

Topic Modeling参考文献 46被引用数 42

ひとこと要約

本論文は多くの LUI ベ benchmark が生態学的妥当性を欠いていると主張し、生態的に妥当な研究方法論を提案し、現実味と適用性を向上させるための五つの共通の偏差と推奨事項を詳述する。

ABSTRACT

Language User Interfaces (LUIs) could improve human-machine interaction for a wide variety of tasks, such as playing music, getting insights from databases, or instructing domestic robots. In contrast to traditional hand-crafted approaches, recent work attempts to build LUIs in a data-driven way using modern deep learning methods. To satisfy the data needs of such learning algorithms, researchers have constructed benchmarks that emphasize the quantity of collected data at the cost of its naturalness and relevance to real-world LUI use cases. As a consequence, research findings on such benchmarks might not be relevant for developing practical LUIs. The goal of this paper is to bootstrap the discussion around this issue, which we refer to as the benchmarks' low ecological validity. To this end, we describe what we deem an ideal methodology for machine learning research on LUIs and categorize five common ways in which recent benchmarks deviate from it. We give concrete examples of the five kinds of deviations and their consequences. Lastly, we offer a number of recommendations as to how to increase the ecological validity of machine learning research on LUIs.

研究の動機と目的

• LUI が有益で代替手段よりも使いやすいと考えられる対象集団とタスクを特定する。
• Wizard-of-Oz シミュレーションを用いた生態的に妥当なデータ収集と評価プロセスを提唱する。
• 現実的でヒトを介在させた設定で LUI を訓練・評価する具体的な方法論を提案する。
• 生態的妥当性を低下させる共通の偏差を強調し、解決策と指針を提供する。

提案手法

• 対象集団の特定、WoZ データ収集、モデル訓練、ヒトを介在させた評価を含む、理想的な生態的に妥当な LUI 研究手順を定義する。
• 本格的なシステム訓練前に展開条件を反映するデータを収集するために Wizard-of-Oz シミュレーションを用いる。
• 訓練済みモデルを従来のインターフェースや代替案と比較して、ユーザー満足度と生産性を評価する。
• 現行のベンチマークをレビューして、具体例を用いて生態的妥当性からの逸脱を示す。
• データ収集、モデル評価、タスク設計の各段階で生態的妥当性を高める実践的な手順を勧告する。

実験結果

リサーチクエスチョン

• RQ1 生態的に妥当な LUI 研究とは何か、そしてそれをどう実装可能にするか？
• RQ2 LUIベンチマークで生態的妥当性を低下させる共通の偏差には何があり、それらの影響は何か？
• RQ3 研究者は現実世界の LUI の利用ケースに一般化するようなベンチマークと評価手順をどう設計できるか？
• RQ4 現在および将来の LUI 研究の生態的妥当性を向上させる推奨事項は何か？
• RQ5 データ収集、モデリング、評価を LUI の展開シナリオに合わせてどう整合させるべきか？

主な発見

• 生態的妥当性を低下させる五つの共通の偏差: 合成言語、人工的なタスク、潜在的なユーザーと協働していないこと、スクリプト/プライミング、単一ターンのインターフェース。
• Wizard-of-Oz データ収集は展開を近似し、生態的に妥当な訓練データの生成を可能にできる。
• 生態的妥当な評価にはインタラクションのダイナミクスとエラーからの回復を捉えるためのヒトを介在させた評価が必要である。
• 多くのベンチマークはターゲットユーザーや実際のタスクを反映しないデータやプロンプトに依存しており、実用的な LUI への移行を制限している。
• 推奨事項には、実際の集団とタスクを中心にタスクとデータセットを設計し、適切な場合は小規模データで生態的に妥当な評価を行うことを含む。