[논문 리뷰] Visual Prompt Tuning for Generative Transfer Learning

Kihyuk Sohn, Hao Yuan외 6명|arXiv (Cornell University)|2022. 10. 03.

Generative Adversarial Networks and Image Synthesis인용 수 11

한 줄 요약

이 논문은 비전 트랜스포머에서 생성적 전이 학습을 위한 시각적 프롬프트 튜닝을 소개한다. 여기서 학습 가능한 시각적 프롬프트는 이미지 토큰 시퀀스의 앞에 추가되어 사전 훈련된 생성 모델을 새로운 도메인에 맞추는 데 사용된다. 이 방법은 최소한의 토닝으로 다양한 시각적 도메인에서 최신 기술 수준의 이미지 생성 품질을 달성하며, 제로-샷 및 퍼포먼스 설정에서 이전의 접근 방식을 크게 능가한다.

ABSTRACT

Transferring knowledge from an image synthesis model trained on a large dataset is a promising direction for learning generative image models from various domains efficiently. While previous works have studied GAN models, we present a recipe for learning vision transformers by generative knowledge transfer. We base our framework on state-of-the-art generative vision transformers that represent an image as a sequence of visual tokens to the autoregressive or non-autoregressive transformers. To adapt to a new domain, we employ prompt tuning, which prepends learnable tokens called prompt to the image token sequence, and introduce a new prompt design for our task. We study on a variety of visual domains, including visual task adaptation benchmark~\cite{zhai2019large}, with varying amount of training images, and show effectiveness of knowledge transfer and a significantly better image generation quality over existing works.

연구 동기 및 목표

• 제한된 데이터로 사전 훈련된 생성적 비전 트랜스포머에서 새로운 시각적 도메인으로 효율적인 지식 전이를 가능하게 하기 위해.
• 대규모 생성 모델을 토닝하는 과제를 해결하기 위해 파rameter 효율적인 적응 메커니즘을 도입하기 위해.
• 프롬프트 기반 적응을 통해 퍼포먼스 및 제로-샷 설정에서 이미지 생성 품질을 향상시키기 위해.
• 자기회귀적 및 비자기회귀적 비전 트랜스포머에 특화된 새로운 프롬프트 설계를 개발하기 위해.

제안 방법

• 프레임워크는 이미지의 시각적 토큰 시퀀스 앞에 추가되는 학습 가능한 시각적 토큰을 사용한다. 이를 '프롬프트'라고 한다.
• 기본 비전 트랜스포머 가중치를 동결한 채로 토닝 중에 프롬프트를 최적화함으로써 파rameter 효율적인 적응이 가능하다.
• 이 방법은 생성 이미지에 대해 자기회귀적 및 비자기회귀적 비전 트랜스포머 아키텍처 모두에 적용된다.
• 하위 도메인에서의 특징 표현 및 생성 품질을 향상시키는 새로운 프롬프트 설계가 도입된다.
• 다양한 양의 훈련 데이터로 시각적 작업 적응 벤치마크에서 평가된다.
• 모델은 표준 생성 목표로 엔드 투 엔드로 훈련되며, 유일하게 훈련 가능한 파ram터로 프롬프트를 사용한다.

실험 결과

연구 질문

• RQ1 제한된 데이터로 사전 훈련된 비전 트랜스포머를 새로운 시각적 도메인에 효과적으로 적응시킬 수 있는가?
• RQ2 생성 품질과 파rameter 효율성 측면에서 프롬프트 튜닝은 전체 토닝과 어떻게 비교되는가?
• RQ3 프롬프트 설계가 비전 트랜스포머의 생성적 전이 학습 성능에 어떤 영향을 미치는가?
• RQ4 다양한 데이터 가용성 수준을 가진 다양한 시각적 도메인으로 일반화되는가?
• RQ5 프롬프트 튜닝은 퍼포먼스 및 제로-샷 이미지 생성 설정에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 다양한 도메인에서 시각적 작업 적응 벤치마크에서 최신 기술 수준의 이미지 생성 품질을 달성한다.
• 시각적 프롬프트 튜닝은 퍼포먼스 및 제로-샷 설정에서 기존 방법보다 뚜렷이 뛰어난 성능을 보인다.
• 도메인당 최소 100장의 훈련 이미지가 있어도 높은 생성 품질을 유지한다.
• 이 방법은 강력한 파rameter 효율성을 보이며, 비전 트랜스포머 가중치를 동결한 채 프롬프트 토큰만 토닝함으로써 효율적으로 작동한다.
• 새로운 프롬프트 설계는 기준 프롬프트 방법 대비 더 일관되고 다양한 이미지 생성을 이끈다.
• 이 프레임워크는 자연 이미지, 스케치, 의료 영상 등 다양한 시각적 도메인에서 효과적으로 일반화된다.