[論文レビュー] ILuvUI: Instruction-tuned LangUage-Vision modeling of UIs from Machine Conversations

Yue Jiang, Eldon Schoop+2 more|arXiv (Cornell University)|Oct 7, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

この論文では、335,000件の指令微調整済みマルチモーダルUIスクリーンショットと、LLMおよびUI要素検出器を用いて生成されたテキストインタラクションを用いて微調整された視覚言語モデルであるILuvUIを紹介する。本手法は人間によるキャプションのラベル付けを排除し、ゼロショットUI理解を可能にし、UI記述、推論、マルチステップナビゲーションタスクにおいて優れた性能を発揮し、非UI微調整VLMを上回る。

ABSTRACT

Multimodal Vision-Language Models (VLMs) enable powerful applications from their fused understanding of images and language, but many perform poorly on UI tasks due to the lack of UI training data. In this paper, we adapt a recipe for generating paired text-image training data for VLMs to the UI domain by combining existing pixel-based methods with a Large Language Model (LLM). Unlike prior art, our method requires no human-provided annotations, and it can be applied to any dataset of UI screenshots. We generate a dataset of 335K conversational examples paired with UIs that cover Q&A, UI descriptions, and planning, and use it to fine-tune a conversational VLM for UI tasks. To assess the performance of our model, we benchmark it on UI element detection tasks, evaluate response quality, and showcase its applicability to multi-step UI navigation and planning.

研究の動機と目的

• 視覚言語モデル（VLM）におけるUIドメインのマルチモーダル学習データの不足に対処すること。
• 人間によるラベルなしで、多様で高品質なテキスト画像ペアを自動的に生成するスケーラブルな方法を開発すること。
• UIタスク（記述、推論、マルチステップナビゲーションなど）における命令従いを可能にするVLMの微調整を実施すること。
• UI理解ベンチマークでのモデル性能を評価し、未観測のUIタスクへの一般化能力を示すこと。

提案手法

• 既存のUI要素検出モデルを活用し、UIスクリーンショットから構造的表現を抽出する。
• 大規模言語モデル（GPT-3.5-turbo）を用いて、検出されたUI要素と文脈に基づき、6種類のテキスト応答（Q&A、記述、アクションリスト、結果予測、要素選択、計画）を生成する。
• ピクセルベースのUIスクリーンショットとLLMが生成したテキストを組み合わせ、微調整用に335,000ペアの画像-命令例を作成する。
• オープンソースのLLaVA VLMを合成UIデータセットで微調整し、指令に従う視覚エージェントであるILuvUIを構築する。
• 多様なテンプレートを用いたプロンプト工学により、それぞれのUIスクリーンショットに対して多様で現実的でタスク固有の応答を生成する。
• UI要素検出、記述、マルチステップナビゲーションタスクにおけるゼロショットおよびフェイシュー評価にモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 人間によるキャプションなしで、合成された指令微調整済みUIデータに基づいて視覚言語モデルを効果的に微調整できるか？
• RQ2 得られたモデルは、要素検出、記述、アクション計画などのUI固有タスクでどの程度の性能を示すか？
• RQ3 未観測のUIレイアウトに一般化し、自然言語指令に基づいたマルチステップナビゲーションを実行できるか？
• RQ4 UI理解ベンチマークにおいて、非UI微調整VLMと比較して、モデルの性能はどの程度か？

主な発見

• ILuvUIモデルは、UI要素検出およびタイプ同定において、非UI微調整VLMを上回る優れた性能を発揮した。
• 定性的および定量的評価により、文脈的に関連性のある高品質な記述とアクション推奨が生成されたことが検証された。
• ILuvUIは推論および計画能力を示し、順次アクション予測によりストップウォッチの起動といったマルチステップUIタスクを正常に実行できた。
• 合成データ生成パイプラインは、人間によるラベルなしで、多様で現実的でタスク固有の応答を生成でき、スケーラブルなデータ作成を可能にした。
• モデルは未観測のUIレイアウトに一般化し、異なるアプリケーション分野においても安定した性能を示した。ベンチマーク評価でその有効性が裏付けられた。
• 本アプローチによりゼロショットUI理解が実現され、音声制御可能なUIインタラクションや自動GUIテストの実現に道を拓いた。