[論文レビュー] VASTA: A Vision and Language-assisted Smartphone Task Automation System

Alborz Rezazadeh Sereshkeh, Gary Leung+5 more|arXiv (Cornell University)|Nov 4, 2019

Multimodal Machine Learning Applications参考文献 31被引用数 5

ひとこと要約

VASTA はスマートフォンのタスクオートメーションのための視覚および自然言語支援プログラミング・バイ・デモンストレーション（PBD）システムであり、UI 構造に依存せずに、コンピュータビジョン（オブジェクト検出、OCR）と自然言語理解を用いて、堅牢で一般化可能な自動化スクリプトを生成する。非技術者ユーザーが操作のデモンストレーションと音声コマンドを用いて、サードパーティアプリ across でタスクを自動化できる。ユーザースタディーでは、UI 要素の検出と発話理解の両方で高い正確性を達成した。

ABSTRACT

We present VASTA, a novel vision and language-assisted Programming By Demonstration (PBD) system for smartphone task automation. Development of a robust PBD automation system requires overcoming three key challenges: first, how to make a particular demonstration robust to positional and visual changes in the user interface (UI) elements; secondly, how to recognize changes in the automation parameters to make the demonstration as generalizable as possible; and thirdly, how to recognize from the user utterance what automation the user wishes to carry out. To address the first challenge, VASTA leverages state-of-the-art computer vision techniques, including object detection and optical character recognition, to accurately label interactions demonstrated by a user, without relying on the underlying UI structures. To address the second and third challenges, VASTA takes advantage of advanced natural language understanding algorithms for analyzing the user utterance to trigger the VASTA automation scripts, and to determine the automation parameters for generalization. We run an initial user study that demonstrates the effectiveness of VASTA at clustering user utterances, understanding changes in the automation parameters, detecting desired UI elements, and, most importantly, automating various tasks. A demo video of the system is available here: http://y2u.be/kr2xE-FixjI

研究の動機と目的

• 非プログラマーが自然なジェスチャーと音声コマンドを用いて、繰り返し発生するスマートフォンタスクを自動化することを可能にすること。
• UI ハイアラルキーまたはマークアップに依存する既存の PBD システムの限界を克服すること。これらは視覚的または構造的変更に対して破綻する。
• 視覚と NLU を用いて、異なるアプリバージョンやユーザー発話のバリエーションに対しても一般化可能な自動化スクリプトを生成すること。
• Web ビューおよび複雑なレンダリングを伴うネイティブアプリを含む、任意のサードパーティアプリでタスクオートメーションをサポートすること。
• コンピュータビジョンを用いて、位置的および視覚的変化に対しても UI 要素の検出を堅牢に実現すること。

提案手法

• アクセシビリティ API や XML 構造に依存せずに、最新のオブジェクト検出と OCR を活用して UI 要素を特定・ラベル付けする。
• 視覚的特徴とテキストコンテンツに基づくビジュアルアプローチを用いて UI 要素を追跡することで、UI レイアウトや外観の変化に対しても耐性を発揮する。
• 高度な自然言語理解（NLU）モデルを用いて、類似したユーザー発話をクラスタリングし、一般化のためのタスクパラメータを抽出する。
• ユーザーのデモンストレーション（タップ・スワイプの座標とスクリーン状態）と NLU 入力を統合して実行可能な自動化スクリプトを生成する。
• 検出精度の向上を目的として、大規模なスマートフォン UI 要素データセット上で専用のオブジェクト検出器を学習する。
• ビジュアルトラッキングと NLU を統合し、ユーザーの発話と実際の操作の不一致を検出する。将来的には XML データの統合により信頼性を向上させる可能性を有する。

実験結果

リサーチクエスチョン

• RQ1 UI ハイアラルキーに依存せずに、視覚ベースのシステムは、異なるアプリバージョンや視覚的変更に対しても UI 要素を検出し、追跡できるか？
• RQ2 NLU モデルは、多様なユーザー発話をどれほど正確に同じ自動化タスクにクラスタリングし、動的パラメータを抽出できるか？
• RQ3 視覚的および言語的信号のみを用いて、PBD システムが異なるユーザー入力や UI レイアウトに一般化できる範囲はどの程度か？
• RQ4 ユーザーの発話と実際の操作の不一致を検出し、その不整合をユーザーにアラートすることができるか？
• RQ5 コンピュータビジョンと NLU を統合することで、従来の PBD システムと比較して、スマートフォンタスクオートメーションの堅牢性と使いやすさがどの程度向上するか？

主な発見

• VASTA はオブジェクト検出と OCR を用いて、視覚的および位置的変化に対しても UI 要素を検出し、追跡でき、動的アプリ環境における堅牢性を示した。
• NLU コンponent は、ユーザー発話を同じタスクカテゴリに効果的にクラスタリングし、パラメータを抽出することで、類似した発話への一般化を可能にした。
• ユーザースタディーにより、VASTA が、アクセシブルでないマークアップを備えた複数のサードパーティアプリ、Web ビュー、および複雑なアプリにおいて、多様なタスクを自動化できることを確認した。
• アクセシビリティ API が利用できないプラットフォームでも、従来の PBD 方法に比べて UI 変更への対処が優れており、優れた性能を示した。
• ユーザースタディーの参加者たちは、システムが自然言語のバリエーションやタスクパラメータの変化を処理できることを直感的かつ有用と感じた。
• 課題は存在したが、VASTA のビジュアルベースのアプローチにより、SUGILITE や XML 依存システムが失敗する環境、たとえば Web ビュー やグラフィックスレンダリングによる UI でも自動化が可能になった。