[논문 리뷰] Uni-Perceiver: Pre-training Unified Architecture for Generic Perception for Zero-shot and Few-shot Tasks
Uni-Perceiver는 단일 시ames 트랜스포머 인코더를 통해 다양한 모odal과 인지 작업을 통합적으로 처리하는 파rameter 공유 아키텍처를 제안한다. 모든 작업을 공통 표현 공간 내에서 유사도 기반 검색으로 모델링하며, 다중 모달 및 단일 모달 작업으로 사전 훈련한 후, 미세조정이 거의 필요 없는 제로샷 성능을 달성하고, 프롬프트 투닝을 통해 1%의 데이터로도 SOTA 수준의 성능을 달성한다.
Biological intelligence systems of animals perceive the world by integrating information in different modalities and processing simultaneously for various tasks. In contrast, current machine learning research follows a task-specific paradigm, leading to inefficient collaboration between tasks and high marginal costs of developing perception models for new tasks. In this paper, we present a generic perception architecture named Uni-Perceiver, which processes a variety of modalities and tasks with unified modeling and shared parameters. Specifically, Uni-Perceiver encodes different task inputs and targets from arbitrary modalities into a unified representation space with a modality-agnostic Transformer encoder and lightweight modality-specific tokenizers. Different perception tasks are modeled as the same formulation, that is, finding the maximum likelihood target for each input through the similarity of their representations. The model is pre-trained on several uni-modal and multi-modal tasks, and evaluated on a variety of downstream tasks, including novel tasks that did not appear in the pre-training stage. Results show that our pre-trained model without any tuning can achieve reasonable performance even on novel tasks. The performance can be improved to a level close to state-of-the-art methods by conducting prompt tuning on 1% of downstream task data. Full-data fine-tuning further delivers results on par with or better than state-of-the-art results. Code shall be released.
연구 동기 및 목표
- 기계 학습에서 작업별로 특화된 인지 모델의 비효율성과 높은 변동 비용 문제를 해결한다.
- 다양한 모달과 작업을 하나의 아키텍처에서 공유 파ram터를 통해 통합함으로써 일반화된 인지 기능을 가능하게 한다.
- 사전 훈련 기간에 볼 수 없었던 새로운 작업에 대해 제로샷 추론을 가능하게 한다.
- 최소한의 레이블 데이터로 효과적인 프롬프트 투닝을 가능하게 하여 후행 훈련 비용을 줄인다.
- 모든 작업 간 사전 훈련과 추론 형식을 일치시켜 지식 전이를 향상시킨다.
제안 방법
- 이미지, 텍스트, 비디오 등 다양한 모달의 입력과 타겟을 경량의 모달 전용 토크나이저를 사용해 통합된 토큰 시퀀스로 인코딩한다.
- 모든 토큰 시퀀스를 모달에 관계없이 작동하는 트랜스포머 인코더를 통해 공통 표현 공간 내의 공통 표현을 생성한다.
- 모든 인지 작업을 유사도 기반 검색으로 모델링한다: 입력 표현과 가장 유사한 타겟을 찾는다.
- 단일 모달(예: 이미지 분류, 언어 모델링)과 다중 모달(예: 이미지-텍스트 검색) 작업의 조합을 통해 모델을 사전 훈련한다.
- 사전 훈련 후 어떤 미세조정 없이도 입력과 후보 타겟 간의 유사도를 직접 계산하여 제로샷 추론을 가능하게 한다.
- 후행 작업 데이터의 1%만을 사용해 프롬프트 투닝을 적용함으로써 VQA 및 GLUE와 같은 작업에서 SOTA 성능에 근접한 성능을 달성하고, 전체 미세조정을 통해 최상의 성능을 달성한다.
실험 결과
연구 질문
- RQ1공유 파ram터를 가진 통합 아키텍처가 다양한 인지 작업과 모달 간 제로샷 일반화를 달성할 수 있는가?
- RQ2다양한 인지 작업에 대해 통합된 형식으로서의 유사도 기반 표현 매칭이 얼마나 효과적인가?
- RQ3최소한의 데이터로 프롬프트 투닝을 통해 제로샷 성능을 얼마나 향상시킬 수 있는가?
- RQ4하나의 사전 훈련된 모델이 최소한의 적응으로 작업별 모델을 능가할 수 있는가?
- RQ5다양한 벤치마크와 모달 간에 통합 모델의 성능가 SOTA 방법과 비교해 어떻게 되는가?
주요 결과
- 사전 훈련된 Uni-Perceiver는 사전 훈련 기간에 포함되지 않은 새로운 작업, 예를 들어 비디오 캡션 생성, 비디오-텍스트 검색, 시각적 질의 응답 등에서도 합리적인 제로샷 성능을 달성한다.
- 후행 작업 데이터의 1%만을 사용해 프롬프트 투닝을 적용하면 VQA 및 GLUE와 같은 작업에서 SOTA 결과에 근접한 성능 향상을 이룬다.
- 후행 작업 데이터의 100%를 사용해 전체 미세조정을 수행하면 GLUE 및 VQA 벤치마크에서 SOTA 방법과 동등하거나 그 이상의 성능을 달성한다.
- GLUE 벤치마크에서 모델은 제로샷 평가에서 81.7%의 정확도를 기록했으며, 이는 미세조정을 통해 84.6%의 정확도를 달성한 BERT BASE와 유사한 성능이다.
- 모델는 희소한 샘플 일반화 능력이 뛰어나며, 1% 데이터로 프롬프트 투닝을 적용했을 때 MNLI에서 60.1%의 정확도, QNLI에서 70.2%의 F1 점수를 기록해 SOTA에 근접한 성능를 보였다.
- BERT BASE와 동일한 파라미터 수를 가짐에도 불구하고, 전체 미세조정에서 약간 낮은 성능를 보였으며, 이는 다중 작업 및 다중 모달 사전 훈련의 용량 제약로 인한 것으로 보인다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.