[論文レビュー] Multimodal Analysis Of Google Bard And GPT-Vision: Experiments In Visual Reasoning

David Noever, Samantha Elizabeth Miller Noever|arXiv (Cornell University)|Aug 17, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

本研究では、64の視覚的推論タスクを通じてGoogle BardとGPT-Visionの性能を評価し、視覚的CAPTCHAの解読や視覚的テキスト認識において優れた能力を示す一方で、アスキー芸術の再構築、Tic-Tac-Toeのような構造的グリッドの分析、次のシーンの予測において顕著な制限を示している。これは、視覚的推論に頼りすぎており、堅実な視覚的理解に欠けていることを示している。

ABSTRACT

Addressing the gap in understanding visual comprehension in Large Language Models (LLMs), we designed a challenge-response study, subjecting Google Bard and GPT-Vision to 64 visual tasks, spanning categories like "Visual Situational Reasoning" and "Next Scene Prediction." Previous models, such as GPT4, leaned heavily on optical character recognition tools like Tesseract, whereas Bard and GPT-Vision, akin to Google Lens and Visual API, employ deep learning techniques for visual text recognition. However, our findings spotlight both vision-language model's limitations: while proficient in solving visual CAPTCHAs that stump ChatGPT alone, it falters in recreating visual elements like ASCII art or analyzing Tic Tac Toe grids, suggesting an over-reliance on educated visual guesses. The prediction problem based on visual inputs appears particularly challenging with no common-sense guesses for next-scene forecasting based on current "next-token" multimodal models. This study provides experimental insights into the current capacities and areas for improvement in multimodal LLMs.

研究の動機と目的

• 最近のマルチモodal LLM、特にGoogle BardとGPT-Visionの視覚的推論能力を、GPT-4のような以前のモデルと比較して調査すること。
• 視覚的認識（OCR）をはるかに超える正確な視覚的理解を要するタスクにおいて、視覚言語モデルの限界を特定すること。
• アスキー芸術やチェス盤のような視覚的パターンの再構築、視覚的状況推論、次のシーン予測などのタスクにおけるこれらのモデルのパフォーマンスを評価すること。
• Bard や GPT-Vision のようなモデルに深層学習に基づく視覚理解が統合されているかどうかが、純粋にOCR依存のモデルよりも優れた推論をもたらすかどうかを評価すること。

提案手法

• 64の多様な視覚的推論タスクをGoogle BardとGPT-Visionに提示するチャレンジ・リスポンス研究を実施した。
• 文脈的および順序的理解を評価するために、「視覚的状況推論」と「次のシーン予測」などのカテゴリーにタスクを分類した。
• 視覚入力にはCAPTCHA、アスキー芸術、Tic-Tac-Toeグリッド、シーン遷移を含め、パターン認識および構造的推論をテストした。
• 外部ツールに依存せずに、視覚入力を正確に解釈し、説明し、推論できる能力に基づいてモデルを評価した。
• 正答との照合を通じて、正答性と整合性に注目してパフォーマンスを測定した。
• Tesseractのような外部OCRツールに依存するGPT-4のような以前のモデルと対比させることで、アーキテクチャ的アプローチの変化を浮き彫りにした。

実験結果

リサーチクエスチョン

• RQ1 Google BardとGPT-Visionは、視覚的構造と文脈の理解を要する視覚的推論タスクで、どのように性能を発揮しているか？
• RQ2 アスキー芸術の再構築やグリッド分析のようなタスクにおいて、これらのモデルはどれほど視覚的推測に依存しているのか、正確な視覚的理解に欠けているのか？
• RQ3 現在のマルチモーダル入力に基づいて、視覚的シーケンスの次のシーンを効果的に予測できるか？
• RQ4 Tesseractのような外部OCRツールを使用する以前のモデルと比較して、これらのモデルの視覚的推論能力はどのように異なるか？
• RQ5 空間的または構造的推論を要するタスクに直面した際、モデルが示す具体的な失敗モードは何か？

主な発見

• Google BardとGPT-Visionは、ChatGPT単体では解けなかった視覚的CAPTCHAを正しく解けた。これは、以前のモデルに比べて視覚的認識能力が向上していることを示している。
• アスキー芸術の再構築において顕著な困難を示し、視覚的パターンや空間的配置の正確な理解に欠けていることが明らかになった。
• Tic-Tac-Toeグリッドの分析ではパフォーマンスが低く、構造的で象徴的な視覚的レイアウトを認識・推論する能力に制限があることが判明した。
• 次のシーン予測タスクでは、信頼できる常識的推論が得られず、頻繁に誤ったまたは整合性のない継続を生成した。
• 深層学習による視覚的テキスト認識を採用しているにもかかわらず、正確な視覚的理解に欠け、教育的視覚的推測に過度に依存していることが判明した。
• 本研究は、現在のマルチモーダルLLMが、構造的または文脈的推論を要するタスクにおいて依然として堅実な視覚的推論能力に欠けていることを確認した。