[논문 리뷰] Explicit Visual Prompting for Universal Foreground Segmentations

Weihuang Liu, Xi Shen외 2명|arXiv (Cornell University)|2023. 05. 29.

Visual Attention and Saliency Detection인용 수 4

한 줄 요약

이 논문은 이미지 패치 임베딩과 학습된 고주파 성분을 위한 태스크별 튜닝을 통해 정지된 시각 트랜스포머를 적응시켜 통합된 프레임워크를 제안한다. 이는 유일한 프롬프트 기반의 전경 분할 방법으로, 몇 개의 조정 가능한 파rameter만으로도 14개 데이터셋, 5개 전경 분할 태스크에서 최신 기술 성능(SOTA)을 달성한다. 이는 전체 미세조정 및 다른 파rameter 효율적인 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Foreground segmentation is a fundamental problem in computer vision, which includes salient object detection, forgery detection, defocus blur detection, shadow detection, and camouflage object detection. Previous works have typically relied on domain-specific solutions to address accuracy and robustness issues in those applications. In this paper, we present a unified framework for a number of foreground segmentation tasks without any task-specific designs. We take inspiration from the widely-used pre-training and then prompt tuning protocols in NLP and propose a new visual prompting model, named Explicit Visual Prompting (EVP). Different from the previous visual prompting which is typically a dataset-level implicit embedding, our key insight is to enforce the tunable parameters focusing on the explicit visual content from each individual image, i.e., the features from frozen patch embeddings and high-frequency components. Our method freezes a pre-trained model and then learns task-specific knowledge using a few extra parameters. Despite introducing only a small number of tunable parameters, EVP achieves superior performance than full fine-tuning and other parameter-efficient fine-tuning methods. Experiments in fourteen datasets across five tasks show the proposed method outperforms other task-specific methods while being considerably simple. The proposed method demonstrates the scalability in different architectures, pre-trained weights, and tasks. The code is available at: https://github.com/NiFangBaAGe/Explicit-Visual-Prompt.

연구 동기 및 목표

• 색채도 객체 탐지, 위조 탐지, 카무플라주 객체 탐지와 같은 다양한 전경 분할 태스크를 위한 통합 프레임워크의 부족을 해결하기 위해.
• 태스크별 아키텍처 설계에 의존도를 줄이기 위해 단일 모델이 여러 전경 분할 태스크에 일반화될 수 있도록 하기 위해.
• 전체 미세조정 대신 명시적 시각 프롬프트를 통해 태스크별 지식을 학습함으로써 파ram터 효율성과 모델 일반화를 향상시키기 위해.
• 주파수 도메인에서 이미지 임베딩과 고주파 성분에서 유도된 명시적 시각 프롬프트의 효과성을 탐색하기 위해.

제안 방법

• 사전 훈련된 시각 트랜스포머 백본을 동결하고, 하류 태스크에 적응하기 위해 소수의 조정 가능한 파rameter를 도입한다.
• 주파수 도메인에서 푸리에 MLP를 사용하여 적응형 마스크를 통해 고주파 성분을 학습하고, 동결된 패치 임베딩의 특징을 재조정한다.
• 주파수 강화 어댑터는 이미지 임베딩과 주파수 특징을 학습 가능한 매핑을 통해 결합하여, 모든 트랜스포머 블록에서 태스크별 적응을 가능하게 한다.
• 스케일 인자 $ r $ 는 조정 가능한 파rameter 수를 제어하며, 모델 복잡성과 성능 간의 균형을 이룬다.
• 프롬프트가 입력 이미지 특징과 그 스펙트럼 표현에서 직접 학습되므로, 전체 프로세스는 엔드 투 엔드로 학습 가능하다.
• 이 방법은 다양한 시각 트랜스포머 아키텍처와 사전 훈련된 가중치와 호환되며, 강력한 확장성을 보여준다.

실험 결과

연구 질문

• RQ1 태스크별 아키텍처 설계 없이도 다양한 전경 분할 태스크에서 최신 기술 성능을 달성할 수 있는 통합 프레임워크가 가능한가?
• RQ2 이미지 패치 임베딩과 고주파 성분을 기반으로 한 명시적 시각 프롬프트가 암묵적 프롬프트나 전체 미세조정보다 얼마나 효과적인가?
• RQ3 최소한의 파ram터 오버헤드로 성능을 극대화하기 위해 조정 가능한 파ram터와 적응 단계의 최적 구성은 무엇인가?
• RQ4 기존 버전에서 사용하는 고정된 수작업 마스크 대비, 주파수 도메인 프롬프트를 엔드 투 엔드로 학습하면 성능 향상이 이루어지는가?

주요 결과

• EVP는 14개 데이터셋, 5개 전경 분할 태스크 전반에서 전체 미세조정 및 다른 파ram터 효율적 미세조정 방법보다 뛰어난 성능을 달성한다.
• 이미지 임베딩 또는 주파수 특징을 제거할 경우 성능 저하가 심각하게 발생함으로써, 두 성분 모두 효과적인 프롬프팅을 위해 필수적임을 확인한다.
• SegFormer-B4의 네 단계를 모두 튜닝할 경우 최고의 성능를 기록하며, 특히 스테이지 3가 가장 기여도가 높고, 상단 또는 하단 레이어에 대한 선호도는 관찰되지 않는다.
• 최적의 스케일 인자 $ r = 16 $ 는 성능과 파ram터 효율성의 균형을 이룬다. $ r $ 을 8 또는 4로 줄일 경우 일관된 향상이 이루어지지 않는다.
• 푸리에 MLP를 통해 고주파 성분을 적응적으로 학습하는 EVPv2는 고정 마스크를 사용하는 EVPv1보다 뛰어난 성능을 보인다.
• 이 방법은 다양한 시각 트랜스포머 아키텍처와 사전 훈련된 가중치에 대해 강력한 확장성을 보이며, 최소한의 학습 가능한 파rameter로 높은 성능 유지를 유지한다.