[論文レビュー] Seeing the Intangible: Survey of Image Classification into High-Level and Abstract Categories

Delfina Sol Martinez Pandiani, Valentina Presutti|arXiv (Cornell University)|Aug 21, 2023

Advanced Image and Video Retrieval TechniquesComputer Science被引用数 3

ひとこと要約

本調査は、感情、価値観、イデオロギーなど、感情的・社会的・文化的な概念（ASCs）を静止画像から検出するコンピュータビジョン研究を体系的にレビューする。視覚的・認知的・意味的表現の観点から、視覚的センチメント分析、社会的信号処理、視覚的修辞的分析などの主要なタスクとクラスタを特定し、明示的なASC検出は稀であるものの、多くの既存のCVタスクが高レベルの視覚的理解を暗黙的に行っていることを示している。これにより、抽象的概念認識に特化した研究の大きな空白が明らかになった。

ABSTRACT

The field of Computer Vision (CV) is increasingly shifting towards ``high-level'' visual sensemaking tasks, yet the exact nature of these tasks remains unclear and tacit. This survey paper addresses this ambiguity by systematically reviewing research on high-level visual understanding, focusing particularly on Abstract Concepts (ACs) in automatic image classification. Our survey contributes in three main ways: Firstly, it clarifies the tacit understanding of high-level semantics in CV through a multidisciplinary analysis, and categorization into distinct clusters, including commonsense, emotional, aesthetic, and inductive interpretative semantics. Secondly, it identifies and categorizes computer vision tasks associated with high-level visual sensemaking, offering insights into the diverse research areas within this domain. Lastly, it examines how abstract concepts such as values and ideologies are handled in CV, revealing challenges and opportunities in AC-based image classification. Notably, our survey of AC image classification tasks highlights persistent challenges, such as the limited efficacy of massive datasets and the importance of integrating supplementary information and mid-level features. We emphasize the growing relevance of hybrid AI systems in addressing the multifaceted nature of AC image classification tasks. Overall, this survey enhances our understanding of high-level visual reasoning in CV and lays the groundwork for future research endeavors.

研究の動機と目的

• コンピュータビジョン分野における抽象的社会的概念（ASCs）の自動検出に関する明示的でない研究の不足を是正すること。
• 感情、価値観、イデオロギーなどのASCsを暗黙的に扱う高レベルの視覚的理解タスクを特定・クラスタリングすること。
• コンピュータサイエンス、視覚研究、認知科学を統合する多様な分野のフレームワークを提供し、画像内の抽象的概念を理解すること。
• 意味的カテゴリー、タスク、データセット、ニューラルネットワークアプローチの観点から、既存のCV研究におけるASCsの位置づけをマップすること。
• 文化的遺産、マルチメディア検索、インタラクティブシステムなどの分野におけるASC検出の可能性を強調すること。

提案手法

• 静止画像における抽象的社会的概念を暗黙的または明示的に扱うCV研究の体系的文献レビューを実施する。
• 高レベルの視覚的意味論を5つのクラスタに分類する：イベント理解、視覚的センチメント分析、美的分析、社会的信号処理、視覚的修辞的分析。
• コンピュータビジョン、認知科学、視覚研究を統合した多様な視点から、各クラスタ内の意味的要素とタスクを分析する。
• ASC関連タスクで使用されている既存のデータセットとディープラーニングモデルをマップし、データおよび手法上のギャップを特定する。
• 認知理論（例：Words As Tools）を用いて、人間の知覚と社会的認知に基づく抽象的概念の概念的フレームワークを根拠づける。
• 知覚的特徴、社会的文脈、文化的コードの観点から、特にバールスの「含意」に着目して、研究をクラスタリング・比較する。

Figure 1. Visual understanding has been previously conceptualized as a multilayered process, in which three main levels of semantics can be identified. The low-level is generally connected to raw or primitive features; the mid-level is generally connected with individual objects, persons, and region

実験結果

リサーチクエスチョン

• RQ1 静止画像における抽象的社会的概念に対応する高レベルの視覚的理解の主な意味的要素は何であるか？
• RQ2 抽象的社会的概念の検出を暗黙的または明示的に扱うコンピュータビジョンタスクは何か。それらはどのように構造化されているか？
• RQ3 既存のデータセットとニューラルネットワークアーキテクチャは、画像内の抽象的概念認識をどのように支援または制限しているか？
• RQ4 特徴の明確な知覚的対象がなく、文化的に異なる解釈が可能なため、抽象的概念の検出に課題が生じる理由は何か？
• RQ5 認知科学および視覚研究からの多様な視点は、ASC検出システムの設計をどのように改善できるか？

主な発見

• 完全な画像理解の中心的役割を果たすにもかかわらず、コンピュータビジョン分野には明示的な抽象的概念検出を専門とする研究が不足している。
• 視覚的センチメント分析、社会的信号処理、視覚的修辞的分析などの多くの既存のCVタスクが、感情や社会的価値観などの抽象的社会的概念を暗黙的に扱っている。
• 自由、消費主義、人種差別といった抽象的概念は、知覚的に境界づけられておらず、文化的にコード化された特徴に依存するため、標準的なCV手法では検出が困難である。
• 低レベルで曖昧な特徴に依存し、個人や文化によって解釈が異なることから、抽象的概念に対する意味的ギャップは顕著に拡大する。
• グループ画像におけるリーダーシップや社会的結束の検出といった社会的信号処理タスクは、実用的応用を持つ暗黙的ASC検出の成長分野である。
• 画像分類や生成分野での進展にもかかわらず、抽象的概念の自動認識は依然として未発達であり、高レベルの視覚的理解における重要な研究ギャップが示された。

Figure 2. Top of the semantic pyramid. The dark blue refers to ”high level semantics” as a whole. Based on a multidisciplinary investigation of the kinds of semantic entities that have been placed within this upper layer of semantics, four clusters of knowledge have been identified.