[論文レビュー] Visual Knowledge in the Big Model Era: Retrospect and Prospect

Wenguan Wang, Yi Yang+1 more|arXiv (Cornell University)|Apr 5, 2024

Digital Media and Visual Art被引用数 4

ひとこと要約

本論文は、視覚的概念、関係、操作、推論を統合的かつ解釈可能な表現としての視覚的知識の進化をレビューし、大規模な基盤モデルと統合することで、透明性、一般化、推論における主な限界を克服できると提唱する。大規模モデルを活用して視覚的知識を抽出・拡張・補完することで、より信頼性が高く、能力の高い次世代AIシステムの実現を可能にする。

ABSTRACT

Visual knowledge is a new form of knowledge representation that can encapsulate visual concepts and their relations in a succinct, comprehensive, and interpretable manner, with a deep root in cognitive psychology. As the knowledge about the visual world has been identified as an indispensable component of human cognition and intelligence, visual knowledge is poised to have a pivotal role in establishing machine intelligence. With the recent advance of Artificial Intelligence (AI) techniques, large AI models (or foundation models) have emerged as a potent tool capable of extracting versatile patterns from broad data as implicit knowledge, and abstracting them into an outrageous amount of numeric parameters. To pave the way for creating visual knowledge empowered AI machines in this coming wave, we present a timely review that investigates the origins and development of visual knowledge in the pre-big model era, and accentuates the opportunities and unique role of visual knowledge in the big model era.

研究の動機と目的

• 認知心理学およびAI研究からの視覚的知識の理論的・方法論的基盤を分析すること。
• 現在の大型AIモデルの限界、特に不透明性、幻覚現象、高コストなリソース要件を特定すること。
• 視覚的知識が視覚的エンティティに関する構造的で解釈可能な推論を可能にすることで、大規模モデルの弱みを緩和できる方法を検討すること。
• 大規模モデルを視覚的知識の生成・強化のためのソース、ツール、補完として活用する協調的フレームワークを提唱すること。
• 信頼性があり一般化可能なAIを進歩させるために、視覚的知識と基盤モデルを統合するための今後の研究方向性を示すこと。

提案手法

• 視覚的概念、視覚的関係、視覚的操作、視覚的推論の4つの次元に沿って視覚的知識を体系的に分類する。
• 認知心理学に根ざし、人間の心的画像と知覚に基づいて視覚的知識を定義し、解釈可能性と抽象化を強調する。
• 微調整なしに大量データから強固な視覚的概念と関係を学べる基盤モデル（例：GPT、SAM）を活用することを提言する。
• 大規模言語モデルを外部知識源として活用し、視覚的知識に意味的・一般的常識的・文脈的関係を追加すること。
• 大規模モデルにエンコードされた知識を局所化・検証・精錬するための高度な知識分析・抽出・強化技術を推奨する。
• テキストと視覚のマルチモーダル連携を強調し、より包括的で文脈に適応した表現を創出すること。

実験結果

リサーチクエスチョン

• RQ1 視覚的知識は、AIにおける記号的推論と非記号的ディープラーニングの間の橋渡しとしてどのように機能できるか？
• RQ2 視覚的知識の核心的構成要素は何であり、視覚的エンティティに関する構造的推論をどのように支援するか？
• RQ3 基盤モデルは、視覚的知識の取得、表現、精錬をどのように向上させることができるか？
• RQ4 視覚的知識は、大規模AIモデルに内在する不透明性、幻覚、バイアスの問題をどのように緩和できるか？
• RQ5 信頼性があり一般化可能なAIを実現するための、視覚的知識と大規模モデルを統合する最良の研究方向性は何か？

主な発見

• 視覚的知識は、視覚的概念、その属性（例：形状、運動）およびそれらの変換を統合的かつ解釈可能な枠組みで表現可能であり、構造的推論を可能にする。
• SAM や GPT-3 といった基盤モデルは、スケールで視覚的パターンと世界知識を学べる可能性を示しており、視覚的知識抽出の強力なエンジンとして機能する。
• 大規模言語モデルには、意味的および一般的常識的関係を含む、顕在化されていない大量の世界知識が内蔵されているが、モデルパラメータ内に隠れている。
• ノイズ、バイアス、誤りと混同された状態でエンコードされているため、大規模モデルからの知識抽出は依然として困難であり、高度な分析・精錬技術の導入が不可欠である。
• テキストと視覚のモダリティを併用することで、単独では達成できない理解が向上し、特に抽象的または文脈依存の知識（例：ランドマークの歴史的意義）に対して顕著である。
• 視覚的知識と基盤モデルを統合することは、パフォーマンス、解釈可能性、信頼性のバランスを取った次世代AIへの実現可能性のある道筋を提供する。