[論文レビュー] Spotlight: Mobile UI Understanding using Vision-Language Models with a Focus

Gang Li, Yang Li|arXiv (Cornell University)|Sep 29, 2022

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

Spotlightは、スクリーンショット内の注目領域に焦点を当てたビジョン・ランゲージモデルを用いた、ビュー階層に依存しないビジョンオンリーのモバイルUI理解手法を提案する。スケーラブルな事前学習とファインチューニング、マルチタスク学習、少サンプルプロンプティングのサポートにより、ビュー階層を用いる手法よりも優れたSOTA性能を複数のUIタスクで達成している。

ABSTRACT

Mobile UI understanding is important for enabling various interaction tasks such as UI automation and accessibility. Previous mobile UI modeling often depends on the view hierarchy information of a screen, which directly provides the structural data of the UI, with the hope to bypass challenging tasks of visual modeling from screen pixels. However, view hierarchies are not always available, and are often corrupted with missing object descriptions or misaligned structure information. As a result, despite the use of view hierarchies could offer short-term gains, it may ultimately hinder the applicability and performance of the model. In this paper, we propose Spotlight, a vision-only approach for mobile UI understanding. Specifically, we enhance a vision-language model that only takes the screenshot of the UI and a region of interest on the screen -- the focus -- as the input. This general architecture of Spotlight is easily scalable and capable of performing a range of UI modeling tasks. Our experiments show that our model establishes SoTA results on several representative UI tasks and outperforms previous methods that use both screenshots and view hierarchies as inputs. Furthermore, we explore multi-task learning and few-shot prompting capacities of the proposed models, demonstrating promising results in the multi-task learning direction.

研究の動機と目的

• ビュー階層の限界、例えば欠落または損傷したオブジェクトの記述や構造的不整合を解消すること。
• ビュー階層データに依存しないスケーラブルなビジョンオンリーのモバイルUIモデリング手法を開発すること。
• 領域固有のアテンションを備えた統一されたビジョン・ランゲージモデルアーキテクチャを用いて、多様なUIタスクに一般化できるようにすること。
• 低リソースなUIモデリング環境におけるマルチタスク学習と少サンプルプロンプティングの有効性を調査すること。
• 大規模かつ高品質な視覚データで訓練されたビジョン・ランゲージモデルが、ハイブリッドなビジョン・ビュー階層モデルを上回ることを実証すること。

提案手法

• UIスクリーンショット内の指定された注目領域に焦点を当てるために、領域認識アテンション機構（Region Summarizer）をビジョン・ランゲージモデルに統合する。
• 250万枚のモバイルUIスクリーンショットと8000万枚のウェブページでモデルを事前学習し、視覚的・言語的表現を学習する。
• ウィジェットのキャプション作成、スクリーン要約、コマンドの位置特定などの具体的なタスク用に、教師ありデータを用いてファインチューニングする。
• 共通の視覚的および言語的エンコーダーを用いて複数のUIタスクを同時に学習することで、マルチタスク学習を支援する。
• 再トレーニングなしに推論時に少数のラベル付き例を提供することで、少サンプルプロンプティングを可能にする。
• 視覚的エンコーディングにビジョントランスフォーマー（ViT）を、テキスト生成にT5ベースのデコーダーを用い、領域のボクシングボックスを条件入力として使用する。

実験結果

リサーチクエスチョン

• RQ1 ビュー階層に依存する既存の手法よりも、ビジョンオンリーのアプローチがモバイルUI理解において優れた性能を示せるか？
• RQ2 領域に焦点を当てたビジョン・ランゲージモデルは、UIタスクに必要な視覚的および言語的文脈をどれほど効果的に捉えられるか？
• RQ3 マルチタスク学習は、多様なUIモデリングタスクにわたる一般化をどの程度向上できるか？
• RQ4 少サンプルプロンプティングは、最小限のラベル付き例で新しいUIタスクに効果的に適応できるか？
• RQ5 大規模かつ多様なUIおよびウェブデータで事前学習することで、初期化から訓練する場合と比較して、下流タスクの性能が顕著に向上するか？

主な発見

• Spotlightは、ウィジェットのキャプション作成、スクリーン要約、コマンドの位置特定といった複数のモバイルUIタスクでSOTAの性能を達成し、スクリーンショットとビュー階層の両方を用いる手法を上回っている。
• L/16モデルは、5ショットの少サンプルプロンプティングを用いてウィジェットのキャプション作成タスクで62.1％の精度を達成し、ゼロショットプロンプティングに比べてわずかな改善を示している。
• より大きなモデル（例：L/16）は、より小さなモデル（例：B/16）よりも優れた少サンプル一般化性能を示しており、高い容量が少サンプル適応に有利であることが示唆されている。
• アブレーションスタディの結果、事前学習が性能向上に顕著に寄与しており、ファインチューニングされたモデルは初期化から訓練したモデルよりも顕著に優れている。
• アテンション可視化の結果、モデルはターゲット領域だけでなく、意味的に関連する周辺要素にも注目していることが確認された。これは、キャプション作成および要約タスクの両方で観察された。
• ビュー階層の入力が存在しないにもかかわらず、モデルはタスク間で良好な一般化を示しており、大規模事前学習による強力な転移学習能力があることが示された。