[論文レビュー] VUT: Versatile UI Transformer for Multi-Modal Multi-Task User Interface Modeling

Yang Li, Gang Li+3 more|arXiv (Cornell University)|Dec 10, 2021

Speech and dialogue systems被引用数 10

ひとこと要約

VUTは、UI画像、ビュー階層、自然言語を統合的に処理する包括的でマルチモーダルなTransformerモデルであり、5つの異なるUIタスク—オブジェクト検出、コマンドの位置特定、ウィジェットのキャプション生成、スクリーン要約、タップ可能予測—を同時に実行する。タスク特化型モデルと同等またはそれを上回る性能を達成するとともに、統合的マルチタスク学習によりモデルの容量を削減する。

ABSTRACT

User interface modeling is inherently multimodal, which involves several distinct types of data: images, structures and language. The tasks are also diverse, including object detection, language generation and grounding. In this paper, we present VUT, a Versatile UI Transformer that takes multimodal input and simultaneously accomplishes 5 distinct tasks with the same model. Our model consists of a multimodal Transformer encoder that jointly encodes UI images and structures, and performs UI object detection when the UI structures are absent in the input. Our model also consists of an auto-regressive Transformer model that encodes the language input and decodes output, for both question-answering and command grounding with respect to the UI. Our experiments show that for most of the tasks, when trained jointly for multi-tasks, VUT substantially reduces the number of models and footprints needed for performing multiple tasks, while achieving accuracy exceeding or on par with baseline models trained for each individual task.

研究の動機と目的

• 異なるマルチモーダルなUIモデリングタスクを1つの共有モデルアーキテクチャに統合し、展開の複雑さとモデル容量を低減すること。
• 画像、構造、言語の共有表現を用いて、1つのモデルが複数の異種UIタスクを効果的に処理できるかどうかを調査すること。
• 各タスクに別々のモデルを必要とせず、高い性能を維持しながらもコンactでスケーラブルなモデルを設計すること。
• 特にモバイルデバイスなどのリソース制限環境において、UIモデリングにおける統合的マルチタスク学習の実現可能性と有効性を評価すること。
• オブジェクト検出がマルチタスクフレームワークに効果的に統合可能であることを示し、他のタスクの性能を低下させないこと。

提案手法

• VUTは二重タワー型Transformerアーキテクチャを採用している：画像・構造入力を処理するImage-Structureエンコーダと、言語入力を処理するQuestion-Answerデコーダ。
• Image-Structureモデルは、画像とビュー階層特徴を初期段階で統合し、オブジェクトの問い合わせ時に注目マップが注視を制御する。
• 構造入力が存在しない場合でも、モデルはロバストなビジュアルオンリーモードでオブジェクト検出を実行可能である。
• Question-AnswerモデルはImage-Structure表現に注目し、キャプション生成や要約タスクのテキスト出力をデコードする。
• 言語コマンドの位置特定には、Question-Answerエンコーダの最終隠れ状態を用いてターゲットUI要素を予測する。
• 各タスクヘッドはバッチごとに動的に活性化され、1回のフォワードパスで複数のタスクを処理可能である。

実験結果

リサーチクエスチョン

• RQ1 1つのマルチモーダルなTransformerモデルが、同時に5つの異なるUIモデリングタスクを効果的に実行できるか？
• RQ2 統合的マルチタスク学習は、単一タスク学習と比較して個々のタスク性能を低下させるか？
• RQ3 オブジェクト検出の導入が、共有学習フレームワークにおける他のタスクの性能に与える影響はいかほどか？
• RQ4 タスク固有の微調整や別々のアーキテクチャを必要とせず、多様なタスクで高い正確性を維持できるか？
• RQ5 オブジェクト検出を独立した事前学習タスクではなく、マルチタスク学習パイプラインの一部として使用することは可能か？

主な発見

• VUTは、オブジェクト検出、ウィジェットのキャプション生成、スクリーン要約、言語コマンドの位置特定、タップ可能予測の5つのタスクすべてにおいて、タスク特化型モデルと同等またはそれ以上の性能を達成した。
• ウィジェットのキャプション生成では、完全なマルチタスクモデルがBLEU-1 47.0、CIDEr 99.3を達成し、単一タスクベースライン（45.8、94.8）を上回った。
• スクリーン要約では、マルチタスクモデルがBLEU-1 67.7、ROUGE 53.9を達成し、単一タスク最良成績（68.7、53.8）をわずかに下回ったが、依然として非常に競争力のある性能を示した。
• 言語コマンドの位置特定では、完全なマルチタスクモデルが80.8%の正確性を達成し、単一タスクベースラインの75.5%を上回った。
• タップ可能予測では、完全なマルチタスク設定でF1スコア88.3%を達成し、単一タスクベースラインの86.6%を上回った。
• オブジェクト検出では、統合学習中にわずかに性能が低下（単一タスク時AP 37.0 → 統合時AP 35.2）したが、安定しており回復可能であり、マルチタスク環境下でも堅牢であることが示された。