[논문 리뷰] Seeing the Intangible: Survey of Image Classification into High-Level and Abstract Categories

Delfina Sol Martinez Pandiani, Valentina Presutti|arXiv (Cornell University)|2023. 08. 21.

Advanced Image and Video Retrieval TechniquesComputer Science인용 수 3

한 줄 요약

이 종합 검토는 정적 이미지에서 감정, 가치관, 이데올로기와 같은 추상적 사회적 개념(ASCs)을 분석함으로써 그 의미적, 인지적, 시각적 표현을 바탕으로 컴퓨터 비전 분야에서 추상적 사회적 개념 감지에 관한 체계적인 리뷰를 수행한다. 이 리뷰는 시각적 감성 분석, 사회 신호 처리, 시각적 레토릭과 같은 핵심 작업과 클러스터를 특정하며, 명시적 ASC 감지가 흔하지 않음에도 불구하고 기존의 CV 작업 대부분이 고수준의 시각적 이해를 암묵적으로 다루고 있음을 보여주며, 추상적 개념 인식에 전용 연구가 크게 부족하다는 것을 드러낸다.

ABSTRACT

The field of Computer Vision (CV) is increasingly shifting towards ``high-level'' visual sensemaking tasks, yet the exact nature of these tasks remains unclear and tacit. This survey paper addresses this ambiguity by systematically reviewing research on high-level visual understanding, focusing particularly on Abstract Concepts (ACs) in automatic image classification. Our survey contributes in three main ways: Firstly, it clarifies the tacit understanding of high-level semantics in CV through a multidisciplinary analysis, and categorization into distinct clusters, including commonsense, emotional, aesthetic, and inductive interpretative semantics. Secondly, it identifies and categorizes computer vision tasks associated with high-level visual sensemaking, offering insights into the diverse research areas within this domain. Lastly, it examines how abstract concepts such as values and ideologies are handled in CV, revealing challenges and opportunities in AC-based image classification. Notably, our survey of AC image classification tasks highlights persistent challenges, such as the limited efficacy of massive datasets and the importance of integrating supplementary information and mid-level features. We emphasize the growing relevance of hybrid AI systems in addressing the multifaceted nature of AC image classification tasks. Overall, this survey enhances our understanding of high-level visual reasoning in CV and lays the groundwork for future research endeavors.

연구 동기 및 목표

• 컴퓨터 비전 분야에서 추상적 사회적 개념(ASCs)의 자동 감지에 대한 명시적 연구 부족 문제를 해결하기 위해.
• 감정, 가치관, 이데올로기와 같은 ASCs를 암묵적으로 다루는 고수준의 시각적 이해 작업을 식별하고 클러스터링하기 위해.
• 컴퓨터 과학, 시각 연구, 인지 과학을 융합한 다학제적 프레임워크를 제공하여 이미지 내 추상 개념을 이해하기 위해.
• 의미적 범주, 작업, 데이터셋, 신경망 접근 방식을 기반으로 기존의 CV 연구를 맵핑하기 위해.
• 문화유산, 다중매체 검색, 상호작용 시스템 등 다양한 분야에서 ASC 감지의 잠재력을 부각하기 위해.

제안 방법

• 정적 이미지 내 추상적 사회적 개념을 암묵적 또는 명시적으로 다루는 CV 연구에 대한 체계적 문헌 검토를 수행하기 위해.
• 고수준의 시각적 의미를 다섯 가지 클러스터로 분류하기 위해: 사고의 이해, 시각적 감성 분석, 미학적 분석, 사회적 신호 처리, 시각적 레토릭 분석.
• 컴퓨터 비전, 인지 과학, 시각 연구를 융합한 다학제적 시각에서 각 클러스터 내 의미적 요소와 작업을 분석하기 위해.
• ASC 관련 작업에 사용된 기존 데이터셋과 딥 러닝 모델을 맵핑하여 데이터 및 방법론 측면에서의 격차를 식별하기 위해.
• 인지 이론(예: Words As Tools)을 활용하여 인간의 지각과 사회적 인지에 기반한 추상 개념의 개념적 프레임워크를 구체화하기 위해.
• 지각적 특징, 사회적 맥락, 문화적 코드화에 중점을 두어 연구를 클러스터링하고 비교하기 위해, 특히 바르스의 함의(Connotation) 이론과의 관련성을 고려하여.

Figure 1. Visual understanding has been previously conceptualized as a multilayered process, in which three main levels of semantics can be identified. The low-level is generally connected to raw or primitive features; the mid-level is generally connected with individual objects, persons, and region

실험 결과

연구 질문

• RQ1 정적 이미지 내 추상적 사회적 개념과 대응하는 고수준의 시각적 이해의 핵심 의미적 요소는 무엇인가?
• RQ2 컴퓨터 비전 작업 중 추상적 사회적 개념 감지를 암묵적 또는 명시적으로 다루는 것은 무엇이며, 그들의 구조는 어떻게 되는가?
• RQ3 기존의 데이터셋과 신경망 아키텍처는 이미지 내 추상적 개념의 인식을 어떻게 지원하거나 제한하는가?
• RQ4 유일한 지각적 참조가 없고 문화적 다양성이 있는 특성으로 인해 추상적 개념 감지에 직면하는 주요 과제는 무엇인가?
• RQ5 인지 과학과 시각 연구의 다학제적 시각은 ASC 감지 시스템의 설계를 어떻게 향상시킬 수 있는가?

주요 결과

• 완전한 이미지 이해에 핵심적인 요소임에도 불구하고, 컴퓨터 비전 분야는 명시적 추상적 개념 감지에 전용 연구가 부족하다.
• 시각적 감성 분석, 사회적 신호 처리, 시각적 레토릭과 같은 많은 기존 CV 작업들이 암묵적으로 추상적 사회적 개념, 특히 감정과 사회적 가치를 다루고 있다.
• 자유, 소비주의, 인종차별과 같은 추상적 개념들은 지각적으로 경계가 없으며, 문화적으로 코드화된 특징에 의존하므로 기존의 CV 방법론으로는 감지하기 어렵다.
• 저수준의 모호한 특징과 개인 및 문화 간 해석의 다양성에 기인하여 추상적 개념에 대한 의미 격차가 더욱 심화된다.
• 그룹 이미지에서 리더십이나 사회적 유대감을 감지하는 사회적 신호 처리 작업은 실용적 응용이 있는 암묵적 ASC 감지의 성장 중인 분야이다.
• 이미지 분류 및 생성 분야에서의 진전에도 불구하고, 추상적 개념의 자동 인식은 여전히 개발이 부족하여 고수준의 시각적 이해 분야에서 중요한 연구 격차가 존재한다.

Figure 2. Top of the semantic pyramid. The dark blue refers to ”high level semantics” as a whole. Based on a multidisciplinary investigation of the kinds of semantic entities that have been placed within this upper layer of semantics, four clusters of knowledge have been identified.