[논문 리뷰] Visual Knowledge in the Big Model Era: Retrospect and Prospect

Wenguan Wang, Yi Yang외 1명|arXiv (Cornell University)|2024. 04. 05.

Digital Media and Visual Art인용 수 4

한 줄 요약

이 논문은 시각적 지식이 시각적 개념, 관계, 연산, 추론을 통합적이고 해석 가능한 표현으로서의 발전을 검토하며, 대규모 기초 모델과의 통합이 투명성, 일반화 및 추론 능력 향상의 핵심 한계를 극복하는 데 기여할 수 있음을 제안한다. 이는 대규모 모델을 활용해 시각적 지식을 추출하고 풍부하게 하며 보완함으로써 더 신뢰할 수 있고 기능적인 차세대 AI 시스템을 가능하게 한다.

ABSTRACT

Visual knowledge is a new form of knowledge representation that can encapsulate visual concepts and their relations in a succinct, comprehensive, and interpretable manner, with a deep root in cognitive psychology. As the knowledge about the visual world has been identified as an indispensable component of human cognition and intelligence, visual knowledge is poised to have a pivotal role in establishing machine intelligence. With the recent advance of Artificial Intelligence (AI) techniques, large AI models (or foundation models) have emerged as a potent tool capable of extracting versatile patterns from broad data as implicit knowledge, and abstracting them into an outrageous amount of numeric parameters. To pave the way for creating visual knowledge empowered AI machines in this coming wave, we present a timely review that investigates the origins and development of visual knowledge in the pre-big model era, and accentuates the opportunities and unique role of visual knowledge in the big model era.

연구 동기 및 목표

• 인지심리학 및 인공지능 연구에서 시각적 지식의 이론적 및 방법론적 기초를 분석하기 위해.
• 현재 대규모 AI 모델의 한계, 즉 투명성 부족, 환각 현상, 높은 자원 소모 등을 규명하기 위해.
• 시각적 지식이 시각적 개념에 대한 체계적이고 해석 가능한 추론을 가능하게 하여 대규모 모델의 약점을 보완할 수 있는 방식을 탐색하기 위해.
• 대규모 모델이 시각적 지식 창출 및 향상의 자료, 도구, 보완 자료로서 기능하도록 상호보완적인 프레임워크를 제안하기 위해.
• 신뢰할 수 있고 일반화 가능한 AI를 발전시키기 위해 기초 모델과 시각적 지식을 통합하는 향후 연구 방향을 제시하기 위해.

제안 방법

• 시각적 개념, 시각적 관계, 시각적 연산, 시각적 추론의 네 가지 차원에 따라 시각적 지식을 체계적으로 분류한다.
• 인지심리학적 접근을 통해 시각적 지식을 인간의 정신적 이미지와 인지 기반으로 뿌리내리게 하여 해석 가능성과 추상화를 강조한다.
• 기초 모델(예: GPT, SAM)을 활용해 피팅 조정 없이도 대량의 데이터로부터 강건한 시각적 개념과 관계를 학습할 수 있도록 제안한다.
• 대규모 언어 모델을 외부 지식 자료로 활용해 시각적 지식에 의미적, 일반 지식적, 맥락 기반 관계를 보완한다.
• 빅 모델에 인코딩된 지식을 국소화하고 검증하며 정제하기 위해 고도의 지식 분석, 추출 및 향상 기법을 권장한다.
• 다중모odal 상호보완성에 중점을 두어 텍스트 및 시각적 모odal을 함께 활용해 더 통합적이고 맥락 인식 능력이 뛰어난 표현을 창출한다.

실험 결과

연구 질문

• RQ1 시각적 지식는 기계적 추론과 비기계적 딥 러닝 간의 다리 역할을 어떻게 수행할 수 있는가?
• RQ2 시각적 지식의 핵심 구성 요소는 무엇이며, 이는 어떻게 시각적 실체에 대한 체계적 추론을 지원하는가?
• RQ3 기초 모델은 어떻게 시각적 지식의 획득, 표현, 정제를 향상시킬 수 있는가?
• RQ4 시각적 지식는 대규모 AI 모델에 내재된 투명성 부족, 환각 현상, 편향 문제를 어떻게 완화할 수 있는가?
• RQ5 신뢰할 수 있고 일반화 가능한 AI를 실현하기 위해 기초 모델과 시각적 지식를 통합하는 데 가장 유망한 연구 방향은 무엇인가?

주요 결과

• 시각적 지식는 시각적 개념, 그들의 특성(예: 형태, 운동) 및 변환을 통합적이고 해석 가능한 프레임워크로 표현함으로써 체계적 추론을 가능하게 한다.
• SAM 및 GPT-3와 같은 기초 모델은 대규모로 시각적 패턴과 세계 지식을 학습할 잠재력을 보이며, 시각적 지식 추출의 강력한 엔진으로서의 기능을 한다.
• 대규모 언어 모델은 의미적 및 일반 지식적 관계를 포함한 상당한 암묵적 세계 지식을 내장하고 있으나, 모델 파rameter 내에 숨겨져 있다.
• 잡음, 편향 및 오류와 함께 얽힌 상태에서 빅 모델에서의 지식 추출은 여전히 도전 과제이며, 고도의 분석 및 정제 기법이 필요하다.
• 텍스트 및 시각적 모달 간의 상호보완적 활용은 특히 추상적 또는 맥락 기반 지식(예: 랜드마크의 역사적 의의)에 대해 한쪽 모달만으로는 달성할 수 없는 이해를 향상시킨다.
• 기초 모델과 시각적 지식의 통합은 성능, 해석 가능성, 신뢰성의 균형을 이루는 차세대 AI를 향한 실현 가능한 길을 제공한다.