[論文レビュー] ScreenQA: Large-Scale Question-Answer Pairs over Mobile App Screenshots

Yu-Chung Hsiao, Fedir Zubach+7 more|arXiv (Cornell University)|Sep 16, 2022

Topic Modeling被引用数 5

ひとこと要約

この論文では、80,000組以上の質問-回答ペアを含む大規模なデータセットScreenQAを紹介する。このデータセットは、モバイルアプリのスクリーンショットを対象とし、質問応答を用いたスクリーンコンテンツ理解のベンチマークを目的としている。このタスクでは、自然言語の質問に応じて関連するUI要素を特定・順序付けし、意味的グルーピングと最小限の回答選択に焦点を当て、ビジョン・ランゲージモデルのモバイルUI理解における新たなベンチマークを提供する。

ABSTRACT

We introduce ScreenQA, a novel benchmarking dataset designed to advance screen content understanding through question answering. The existing screen datasets are focused either on low-level structural and component understanding, or on a much higher-level composite task such as navigation and task completion for autonomous agents. ScreenQA attempts to bridge this gap. By annotating 86k question-answer pairs over the RICO dataset, we aim to benchmark the screen reading comprehension capacity, thereby laying the foundation for vision-based automation over screenshots. Our annotations encompass full answers, short answer phrases, and corresponding UI contents with bounding boxes, enabling four subtasks to address various application scenarios. We evaluate the dataset's efficacy using both open-weight and proprietary models in zero-shot, fine-tuned, and transfer learning settings. We further demonstrate positive transfer to web applications, highlighting its potential beyond mobile applications.

研究の動機と目的

• 構造的UI解析と高レベルのタスク自動化の間のギャップを埋めるベンチマークを提供すること。
• タスク完了やエイプス・フリー（目を向けずに）のインタラクションにおいて、表示されている情報を理解することが不可欠である、モバイルアプリインターフェースにおける機械的読解の研究を可能にすること。
• 実際のモバイルUIに多様なレイアウトと意味的コンテンツを備えた、公開可能な大規模データセットを提供し、ビジョン・ランゲージモデルの評価を支援すること。
• ビュー階層の入力を必要とせずに、モバイルアプリのスクリーンショット内の視覚的およびテキスト的コンテンツに対して推論できるモデルの開発を促進すること。
• 構造的なQAフレームワークを通じて、実際のアプリスクリーンショットにおけるテキスト、アイコン、記号、およびグループ化された意味的要素の理解の課題を分析すること。

提案手法

• RICOアプリのスクリーンショット36,000枚を、構造や行動ではなく、コンテンツ理解に焦点を当てて、82,000組のQAペアでアノテートした。
• 人間のアノテーターによる二段階のアノテーションプロセスを用い、各スクリーンショットの視覚的コンテンツに基づいて質問を生成することで、関連性と多様性を確保した。
• 回答選択を、質問を最小限に満たすUI要素（境界ボックスで指定）の選択と定義した。順序は関連性またはリーディング・オーダーに従う。
• 座標ベースの順序付けによる曖昧さを軽減するため、意味的グルーピングを許容する柔軟な評価指標を導入した。
• 必要に応じて、複数のUI要素にまたがる回答を許容した。特に、グループ化されたコンテンツ（例：運動セット）や散在する情報（例：日付コンponents）に対して有効である。
• ビュー階層に依存しないように、47%の回答に対して手動で描画された境界ボックスを用いた。これは、回答選択における人間水準の意味的判断の必要性を反映している。

実験結果

リサーチクエスチョン

• RQ1 実際のモバイルアプリスクリーンショットにおける質問タイプの分布と多様性はどのようになっており、ユーザーの情報ニーズをどのように反映しているか？
• RQ2 単一のUI要素で十分に質問に答えられる頻度はどの程度で、複数の要素を組み合わせる、または意味的グルーピングを必要とする場面はいつ発生するか？
• RQ3 人間のアノテーターは、最小限の回答を定義する際、ビュー階層にどれほど依存しているのか？
• RQ4 アイコン、記号、非テキスト的コンテンツなどの視覚的要素は、モバイルUIにおけるコンテンツ理解の難易度にどのように影響するか？
• RQ5 構造的UIメタデータへのアクセスなしに、ビジョン・ランゲージモデルがモバイルアプリのコンテンツについて効果的に質問に答えることができるか？

主な発見

• 92%以上の質問が1つの境界ボックスで回答可能であり、これは大多数のコンテンツ関連質問が1つのUI要素に局所化されていることを示している。
• ビュー階層が利用可能でも、47%の回答が手動で描画された境界ボックスを必要としており、複雑なケースではビュー階層が最小限の回答選択に不十分であることが示された。
• 約0.5%の質問が、ビュー階層のノードと手動で描画されたボックスの組み合わせを必要としており、これは通常、意味的に異なるか非連続なUIコンポーネントにまたがる回答の場合に発生する。
• 36,000枚のユニークなスクリーンショットにまたがる82,000の質問が含まれており、そのうち46,000問がユニークな質問である。これは、異なるアプリ間で共通の質問タイプが繰り返し使用されていることを示している。
• 質問の分布は指数関数的減衰を示し、傾きが穏やかであるため、スクリーンショットごとの質問頻度に自然でバランスの取れた分布があることが示された。
• 顕著な割合の質問（例：12.7%）が、ユーザー固有または動的コンテンツ（例：利用制限、イニシャルの真ん中の文字、速度など）に関連しており、これは現実のユーザーの情報ニーズを反映している。