[論文レビュー] CogAgent: A Visual Language Model for GUI Agents

Wenyi Hong, Weihan Wang+12 more|arXiv (Cornell University)|Dec 14, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

CogAgent は、1120×1120 解像度で人間並みの視覚的理解を達成するために、低解像度および高解像度の画像エンコーダーを備えたデュアルブランチアーキテクチャを採用した 180億パラメータの視覚言語モデル（VLM）であり、GUI の理解とナビゲーションを目的として設計されている。Mind2Web および AITW ベンチマークにおいて、抽出されたテキストに依存する LLM ベースの手法を上回り、9 つの VQA および GUI 理解タスクで新たな SOTA 結果を達成するとともに、ベースラインの高解像度モデルと比較して 50% 以上の FLOPs を削減した。

ABSTRACT

People are spending an enormous amount of time on digital devices through graphical user interfaces (GUIs), e.g., computer or smartphone screens. Large language models (LLMs) such as ChatGPT can assist people in tasks like writing emails, but struggle to understand and interact with GUIs, thus limiting their potential to increase automation levels. In this paper, we introduce CogAgent, an 18-billion-parameter visual language model (VLM) specializing in GUI understanding and navigation. By utilizing both low-resolution and high-resolution image encoders, CogAgent supports input at a resolution of 1120*1120, enabling it to recognize tiny page elements and text. As a generalist visual language model, CogAgent achieves the state of the art on five text-rich and four general VQA benchmarks, including VQAv2, OK-VQA, Text-VQA, ST-VQA, ChartQA, infoVQA, DocVQA, MM-Vet, and POPE. CogAgent, using only screenshots as input, outperforms LLM-based methods that consume extracted HTML text on both PC and Android GUI navigation tasks -- Mind2Web and AITW, advancing the state of the art. The model and codes are available at https://github.com/THUDM/CogVLM, with a new version of CogAgent-9B-20241220 available at https://github.com/THUDM/CogAgent.

研究の動機と目的

• スクリーンショットのみを用いて、HTML や OCR のような構造化テキストに依存せずに GUI の理解とナビゲーションが可能な汎用的視覚言語モデルの開発。
• 自然画像で訓練された標準的な VLM の限界を克服するため、OCR および GUI アノテーションを含む大規模な GUI 専用事前学習データセットを構築すること。
• 微細な GUI 要素を認識できる高解像度の視覚的理解（最大 1120×1120）を実現しながら、計算コストを最小限に抑えること。
• 一般向け VQA ベンチマークおよび Mind2Web や AITW のような専用 GUI エージェントベンチマークの両方で、SOTA のパフォーマンスを達成すること。
• メインモデルのシーケンス長を増加させずに、高解像度特徴抽出を主モデルから分離することで、FLOPs を削減し、スケーラブルな推論を可能にする効率的アーキテクチャの設計。

提案手法

• CogAgent は、標準的な低解像度 ViT（EVA2-CLIP-E）と、1120×1120 入力に特化した小型で専用の画像エンコーダー（0.30B パラメータ）を備えた新規の高解像度クロスモジュールを備えたデュアルブランチビジョンエンコーダーを採用している。
• 高解像度ブランチは、低解像度ブランチからの特徴にクロスアテンションを用いて注目し、メインモデルのシーケンス長を増加させることなく、詳細な視覚的特徴の効率的統合を可能にする。
• モデルは、画像キャプション、OCR、ドメイン固有の GUI およびグランドトゥルースデータを組み合わせた大規模な GUI 専用データセットで事前学習されている。
• 指導的微調整は、人間がアノテートした指示データを用いて、VQA や GUI ナビゲーションなどの下流タスクで実施されている。
• アブレーションスタディでは、FLOPs と推論時間を計算効率の指標として用い、224、490、756、1120 の解像度で実験が実施されている。
• アーキテクチャのおかげで、1120×1120 解像度において、元の CogVLM-17B（490×490）と比較して FLOPs が 2.5 倍削減されている。

実験結果

リサーチクエスチョン

• RQ1 構造化テキスト（例：HTML や OCR）を抽出して使用する LLM ベースのエージェントよりも、汎用的視覚言語モデルが GUI ナビゲーションタスクで優れた性能を示せるか？
• RQ2 計算コストが著しく増大するリスクを避けるために、高解像度の視覚入力（最大 1120×1120）を VLM で効率的に処理する方法は何か？
• RQ3 GUI や OCR、グランドトゥルースなどのドメイン固有の事前学習データは、GUI 理解およびナビゲーションベンチマークでのパフォーマンス向上にどの程度寄与するか？
• RQ4 低解像度と高解像度特徴の間でクロスアテンションを用いたデュアルブランチアーキテクチャは、モノリシックな高解像度モデルと比較して、性能および効率性に優れているか？
• RQ5 VLM は、一般向け VQA ベンチマークと専用 GUI エージェントベンチマークの両方で、SOTA のパフォーマンスを同時に達成できるか？

主な発見

• CogAgent は、VQAv2、OK-VQA、Text-VQA、ST-VQA、ChartQA、infoVQA、DocVQA、MM-Vet、POPE の 9 つのベンチマーク（5 つのテキスト豊富型および 4 つの一般 VQA）で SOTA のパフォーマンスを達成した。
• Mind2Web ベンチマークでは、スクリーンショットのみを用いて 41.4% の成功率を達成し、HTML テキストを抽出して使用する LLM ベースの手法を上回った。
• AITW ベンチマークでは、GUI およびグランドトゥルースデータを含む完全な事前学習データを使用した場合、54.2% の成功率を達成し、画像キャプションと OCR のみで学習したモデルと比べて顕著に優れた性能を示した。
• 高解像度クロスモジュールのおかげで、1120×1120 解像度において、元の CogVLM-17B アーキテクチャと比較して FLOPs が 50% 以上削減されたが、計算オーバーヘッドはわずかに増加したにとどまった。
• アブレーションスタディの結果、GUI 専用およびグランドトゥルース事前学習データを追加することで、画像キャプションと OCR のみで学習したモデルと比較して、Mind2Web でのパフォーマンスが 15.6 パcentage ポints 向上した。
• モデルは強力な汎化性能を維持しており、1120×1120 解像度で ST-VQA で 78.2%、OCRVQA で 75.9% のスコアを達成し、多様な視覚的推論タスクにわたる頑健性を示した。