[논문 리뷰] Towards AGI in Computer Vision: Lessons Learned from GPT and Large Language Models

Lingxi Xie, Longhui Wei외 5명|arXiv (Cornell University)|2023. 06. 14.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 GPT가 NLP에서 성공한 것과 유사하게, 인공 일반 지능(AGI)에로의 컴퓨터 비전 발전을 위해 상호작용 가능한 월드 스케일 환경에서 학습할 수 있도록 하는 세 단계의 파ipeline을 제안한다. 이 방법은 시뮬레이션 환경에서 미래 프레임을 예측하도록 에이전트를 사전 훈련한 후, 다양한 시각 작업을 수행하도록 지시 훈련을 거치며, 주요 기여는 프롬프트 기반 시스템을 통한 시각 작업 통합이다.

ABSTRACT

The AI community has been pursuing algorithms known as artificial general intelligence (AGI) that apply to any kind of real-world problem. Recently, chat systems powered by large language models (LLMs) emerge and rapidly become a promising direction to achieve AGI in natural language processing (NLP), but the path towards AGI in computer vision (CV) remains unclear. One may owe the dilemma to the fact that visual signals are more complex than language signals, yet we are interested in finding concrete reasons, as well as absorbing experiences from GPT and LLMs to solve the problem. In this paper, we start with a conceptual definition of AGI and briefly review how NLP solves a wide range of tasks via a chat system. The analysis inspires us that unification is the next important goal of CV. But, despite various efforts in this direction, CV is still far from a system like GPT that naturally integrates all tasks. We point out that the essential weakness of CV lies in lacking a paradigm to learn from environments, yet NLP has accomplished the task in the text world. We then imagine a pipeline that puts a CV algorithm (i.e., an agent) in world-scale, interactable environments, pre-trains it to predict future frames with respect to its action, and then fine-tunes it with instruction to accomplish various tasks. We expect substantial research and engineering efforts to push the idea forward and scale it up, for which we share our perspectives on future research directions.

연구 동기 및 목표

• 기초 모델의 진전에도 불구하고 시각 작업 통합이 NLP에 비해 왜 여전히 어려운지 규명하기 위해.
• GPT와 대규모 언어 모델(LMs)이 텍스트 세계에서 상호작용 학습을 통해 어떻게 통합을 이뤘는지 분석하기 위해.
• LLM의 성공을 모방하여 상호작용 가능한 월드 스케일 환경에서 학습할 수 있도록 하는 컴퓨터 비전의 새로운 범주를 제안하기 위해.
• 환경 구축, 미래 프레임 예측 사전 훈련, 지시 미세조정을 포함한 세 단계 파이프라인을 제안하여 비전 분야의 AGI를 달성하기 위해.
• 환경의 정밀도, 사전 훈련의 대체 과제, 지시 데이터의 규모와 같은 핵심 과제를 규명하여 향후 연구를 안내하기 위해.

제안 방법

• 실세계 상호작용을 시뮬레이션할 수 있도록 정밀하고 풍부하며 상호작용 가능한 가상 환경을 구축하여 시각 에이전트의 학습 기반을 마련하기 위해.
• 행동에 기반한 미래 프레임의 순차적 예측을 통해 자율적 사전 훈련을 수행하여 LLM의 자기지도 사전 훈련 방식을 모방하기 위해.
• 다양한 시각 작업을 수행하도록 인간의 지시를 사용하여 사전 훈련된 에이전트를 미세조정하여 LLM의 지시 훈련과 유사하게 하기 위해.
• 효율성과 일반화 능력을 향상시키기 위해 데이터 압축과 다중 해상도 특징 추출에 중점을 둔 대체 과제를 설계하기 위해.
• 사전 훈련의 성능 평가 지표로 교차 모odal 생성(예: 텍스트 → 이미지)을 통합하고, 통일된 토큰화 및 재구성 손실을 사용하기 위해.
• 복합 작업 실행을 가능하게 하기 위해 복잡한 작업을 기본 동작(예: 탐색, 취득)으로 분해하는 통합 프롬프팅 시스템을 설계하기 위해.

실험 결과

연구 질문

• RQ1 기초 모델의 진전에도 불구하고 NLP와 달리 시각 작업 통합이 왜 여전히 어려운가?
• RQ2 LLM이 NLP에서 작업을 통합할 수 있도록 하는 데 있어 컴퓨터 비전 분야에서 무엇이 부족한가?
• RQ3 상호작용 가능한 월드 스케일 환경이 일반 시각 에이전트의 사전 훈련 기반으로 어떻게 기능할 수 있는가?
• RQ4 에이전트가 상호작용을 통해 세계 모델을 학습할 수 있도록 하기 위해 가장 효과적인 대체 과제와 사전 훈련 목표는 무엇인가?
• RQ5 지시 훈련과 통합 프롬프팅 시스템을 통해 단일 에이전트가 다양한 시각 작업에 일반화할 수 있는 방법은 무엇인가?

주요 결과

• 컴퓨터 비전의 核심적 결함은 상호작용 가능한 환경에서 학습할 수 있는 범주가 부족하기 때문이며, NLP에서는 텍스트가 자연스럽게 상호작용 가능한 세계이기 때문이다.
• 대조적 학습과 마스킹된 이미지 모델링과 같은 기존의 시각 사전 훈련 방법은 세계 모델 학습을 가능하게 하기에 부족하며, 상호작용 가능한 환경에 맞게 재구상되어야 한다.
• 미래의 사전 훈련은 시각 데이터의 冗餘성을 더 효과적으로 다루기 위해 데이터 압축과 다중 해상도 특징 추출을 우선순위로 삼아야 한다.
• 실세계 시각 작업의 복잡성으로 인해 지시 미세조정에는 현재 LLM이 사용하는 것보다 수 개의 주기 더 많은 지시 데이터가 필요로 한다.
• 3D 세계 모델링, 로컬라이제이션, 이mitation 학습을 순차적 예측 프레임워크(예: ENTL)에 통합하는 것은 몸체 시각 작업 통합에 있어 희망적인 전략이다.
• PaLM-E와 ENTL은 LLM과 토큰화를 통해 시각 작업 통합에 초기 성과를 보였지만, 실세계의 복잡성은 훨씬 더 발전된 시뮬레이션과 상호작용이 요구된다.