[논문 리뷰] Harnessing Diffusion Models for Visual Perception with Meta Prompts

Qiang Wan, Zilong Huang외 3명|arXiv (Cornell University)|2023. 12. 22.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 사전 훈련된 텍스트-이미지 확산 모델을 시각적 인식 작업에 적응시키기 위한 새로운 방법을 제안한다. 학습 가능한 메타 프롬프트(메타 프롬프트)를 사용하여 작업에 특화된 특징을 활성화하고 계층적 특징을 재배열함으로써 집중도를 향상시킨다. 이 방법은 깊이 추정에 대해 NYU Depth V2와 KITTI에서 최신 기술 수준(SOTA) 성능을 달성하였고, 세분화 작업에 대해 CityScapes에서 새로운 SOTA를 수립하였다.

ABSTRACT

The issue of generative pretraining for vision models has persisted as a long-standing conundrum. At present, the text-to-image (T2I) diffusion model demonstrates remarkable proficiency in generating high-definition images matching textual inputs, a feat made possible through its pre-training on large-scale image-text pairs. This leads to a natural inquiry: can diffusion models be utilized to tackle visual perception tasks? In this paper, we propose a simple yet effective scheme to harness a diffusion model for visual perception tasks. Our key insight is to introduce learnable embeddings (meta prompts) to the pre-trained diffusion models to extract proper features for perception. The effect of meta prompts are two-fold. First, as a direct replacement of the text embeddings in the T2I models, it can activate task-relevant features during feature extraction. Second, it will be used to re-arrange the extracted features to ensures that the model focuses on the most pertinent features for the task on hand. Additionally, we design a recurrent refinement training strategy that fully leverages the property of diffusion models, thereby yielding stronger visual features. Extensive experiments across various benchmarks validate the effectiveness of our approach. Our approach achieves new performance records in depth estimation tasks on NYU depth V2 and KITTI, and in semantic segmentation task on CityScapes. Concurrently, the proposed method attains results comparable to the current state-of-the-art in semantic segmentation on ADE20K and pose estimation on COCO datasets, further exemplifying its robustness and versatility.

연구 동기 및 목표

• 사전 훈련된 텍스트-이미지 확산 모델을 백본을 재훈련하거나 외부 캡션 모델, 데이터셋별 레이블에 의존하지 않고 시각적 인식 작업에 적응시키는 데 도전하는 것.
• 작업에 특화된 인식을 위해 동적으로 특징을 활성화하고 재구성하는 경량의 종단 간 훈련 가능한 프롬프트 기반 메커니즘을 개발하는 것.
• 확산 모델의 본질적 노이즈 제거 과정을 활용한 반복 보정 훈련 전략을 통해 특징 품질 향상과 모델 적응성 향상을 도모하는 것.
• 깊이 추정 및 세분화와 같은 다양한 인식 작업에 대해 효율적이고 일반화 가능한 방식으로 특징 추출을 가능하게 하는 것.

제안 방법

• 확산 모델 내 텍스트 임베딩을 대체하는 학습 가능한 임베딩인 '메타 프롬프트'를 도입하여, 작업에 특화된 조건 입력으로서 관련 특징을 활성화하는 기능을 수행한다.
• 다양한 스케일의 특징 맵과 메타 프롬프트 간의 내적곱 연산을 통해 가장 관련성이 높은 특징을 재배열하고 강조한다.
• 동일한 UNet 매개변수를 다중 노이즈 제거 단계에 걸쳐 반복적으로 사용하는 반복 보정 훈련 전략을 구현하며, 특징 분포의 변화에 대응하기 위해 시간단계 임베딩을 조절한다.
• 입력 이미지를 잠재 공간으로 압축하기 위해 공통의 VQVAE 인코더를 적용한 후, 공통의 UNet과 작업에 특화된 메타 프롬프트를 사용해 반복적인 노이즈 제거를 수행한다.
• 깊이 추정의 경우 L1 손실, 세분화의 경우 교차 엔트로피 손실 등 최종 작업에 맞는 표준 손실 함수를 사용해 전체 시스템을 종단 간 훈련한다.
• 최종 어텐션 가중 특징을 이차 보간법을 통해 업샘플링하고, 이를 시각화(히트맵)로 생성하여 각 메타 프롬프트의 집중 영역를 해석한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 확산 모델은 백본을 재훈련하지 않고도 시각적 인식 작업의 특징 추출기로 효과적으로 재사용될 수 있는가?
• RQ2 깊이 추정 및 세분화와 같은 다양한 인식 작업에 적응적으로 특징을 활성화하고 재구성하기 위해 메타 프롬프트는 어떻게 설계되어야 하는가?
• RQ3 공통의 UNet 매개변수를 사용하는 반복 보정 전략은 인식 작업의 특징 품질 향상에 기여하는가? 단일 프로퍼게이션 특징 추출 방식과 비교해 봤을 때 어떤가?
• RQ4 조절된 시간단계 임베딩은 반복적인 노이즈 제거 과정에서 발생하는 분포 이탈을 어느 정도 완화하는가? 이는 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 깊이 추정 작업에서 새로운 최신 기술 수준(SOTA) 성능을 달성하였으며, NYU Depth V2 및 KITTI 벤치마크에서 새로운 SOTA를 수립하였다.
• 세분화 작업에 대해 CityScapes에서 새로운 SOTA를 달성하여 다양한 데이터셋 간 일반화 능력이 뛰어나다는 것을 입증하였다.
• ADE20K에서는 현재 최신 기술 수준의 방법들과 비교해 유사한 성능을 달성하여 강건성과 유연성을 입증하였다.
• 포즈 추정 작업에 대해 COCO에서도 경쟁력 있는 성능을 기록하여 다양한 인식 작업에 대한 적응 가능성 또한 추가로 검증하였다.
• 반복 보정 단계가 늘어날수록 성능 향상이 관찰되어 반복적 노이즈 제거 전략이 특징 품질 향상에 효과적이라는 점을 확인하였다.
• 최적의 메타 프롬프트 수는 깊이 추정에 대해 50개, 세분화에 대해 150개로 확인되어 작업에 따라 프롬프트 효율성이 달라진다는 점을 시사하였다.