[논문 리뷰] Explicit Visual Prompting for Low-Level Structure Segmentations

Weihuang Liu, Xi Shen외 2명|arXiv (Cornell University)|2023. 03. 20.

Image Processing Techniques and Applications인용 수 7

한 줄 요약

이 논문은 도금, 초점 불일치 블러, 그림자, 그리고 숨겨진 물체 탐지와 같은 저수준 구조 분할 작업을 위한 통합적이고 파rameter 효율적인 방법인 Explicit Visual Prompting (EVP)을 제안한다. 입력 이미지의 고정된 패치 임베딩과 고주파 성분을 튜닝함으로써 EVP는 기준 방법보다 단지 5.7% 더 많은 학습 가능한 파라미터를 사용하면서도 최신 기술 수준(SOTA) 성능을 달성하며, 프롬프트 튜닝 기반 기준 모델과 작업별 특화 모델을 모두 능가한다.

ABSTRACT

We consider the generic problem of detecting low-level structures in images, which includes segmenting the manipulated parts, identifying out-of-focus pixels, separating shadow regions, and detecting concealed objects. Whereas each such topic has been typically addressed with a domain-specific solution, we show that a unified approach performs well across all of them. We take inspiration from the widely-used pre-training and then prompt tuning protocols in NLP and propose a new visual prompting model, named Explicit Visual Prompting (EVP). Different from the previous visual prompting which is typically a dataset-level implicit embedding, our key insight is to enforce the tunable parameters focusing on the explicit visual content from each individual image, i.e., the features from frozen patch embeddings and the input's high-frequency components. The proposed EVP significantly outperforms other parameter-efficient tuning protocols under the same amount of tunable parameters (5.7% extra trainable parameters of each task). EVP also achieves state-of-the-art performances on diverse low-level structure segmentation tasks compared to task-specific solutions. Our code is available at: https://github.com/NiFangBaAGe/Explicit-Visual-Prompt.

연구 동기 및 목표

• 다양한 저수준 영상 구조—예를 들어 위조 영역, 초점 불일치 블러, 그림자, 숨겨진 물체—의 탐지를 하나의 프레임워크에서 통합적으로 수행하는 것.
• 저수준 분할 작업에서 레이블이 부족하고 대규모 데이터셋이 부족한 문제를 해결하는 것.
• 자연어 처리(NLP) 프롬프팅에서 영감을 얻은 파rameter 효율적인 튜닝을 통해 저수준 구조 분할 성능을 향상시키는 것.
• 일반적인 학습 가능한 토큰이 아닌, 이미지 고유의 시각적 콘텐츠를 통해 작업별 지식을 효과적으로 튜닝할 수 있음을 보여주는 것.

제안 방법

• EVP는 입력 이미지의 고정된 패치 임베딩과 고주파 성분에서 유도된 특징을 작업별 프롬프트로 사용하는 시각적 프롬프팅 메커니즘을 도입한다.
• 학습 가능한 어댑터(Adaptors)를 적용하여 고정된 비전 트랜스포머 백본의 특징을 재조정함으로써 효율적인 파라미터 튜닝을 가능하게 한다.
• 스케일링 인자 $ r $ 는 어댑터 내 학습 가능한 파라미터 수를 제어하며, 모델 크기와 성능 사이의 균형을 맞춘다.
• 어댑터는 SegFormer 백본의 특정 단계에서 특징을 튜닝하는 공유 또는 비공유 MLP 헤드로 구성된다.
• 이 방법은 일반화 능력이 뛰어나지며, 계층적(SegFormer)과 단순 ViT 백본 모두에서 테스트되었다.
• 고주파 성분은 단순한 필터(예: 라플라시안)를 통해 추출되며, 고정된 모델을 안내하는 명시적인 프롬프트 신호로 사용된다.

실험 결과

연구 질문

• RQ1 통합적이고 파rameter 효율적인 방법이 여러 저수준 구조 분할 작업에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ2 고정된 패치 임베딩과 고주파 성분과 같은 명시적인 이미지 콘텐츠 기반 프롬프팅이 일반적인 학습 가능한 프롬프트 토큰보다 우수한가?
• RQ3 튜닝 단계와 어댑터 아키텍처의 선택이 저수준 분할 성능에 어떤 영향을 미치는가?
• RQ4 EVP는 플레인 ViT와 계층적 SegFormer을 포함한 다양한 비전 트랜스포머 백본으로 일반화 가능한가?
• RQ5 스케일링 인자 $ r $ 를 통해 학습 가능한 파라미터 수를 조절할 때, 모델 크기와 성능 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• EVP는 네 가지 저수준 분할 작업에 걸쳐 아홉 개의 다양한 데이터셋에서 최신 기술 수준 성능을 달성하며, 작업별 특화 모델과 다른 프롬프트 튜닝 기반 기준 모델을 모두 능가한다.
• 기준 방법보다 단지 5.7% 더 많은 학습 가능한 파라미터를 사용함에도 불구하고, 네 데이터셋 중 세 곳에서 전체 튜닝보다 뛰어나고 네 번째 데이터셋에선 동일한 성능를 기록한다.
• 고정된 패치 임베딩 특징($ F_{pe} $)이나 고주파 성분($ F_{hfc} $)을 제거하면 성능이 크게 떨어지며, 이는 두 요소가 모두 필수적임을 확인한다.
• $ r = 4 $ 를 사용할 경우 성능과 파라미터 효율성 사이의 최적의 균형을 확보할 수 있으며, $ r $ 를 1 또는 2로 줄일 경우 성능이 정체되거나 감소함을 확인한다.
• 제거 실험 결과, 어댑터 MLP를 단계 간에 공유하는 것은 성능을 떨어뜨리므로, 각 단계에서 작업별 적응이 필수적임을 입증한다.
• EVP는 플레인 ViT 백본으로도 잘 일반화되며, ViT-Base 기반 SETR에서 VPT와 AdaptFormer를 능가함으로써 아키텍처의 강건성을 입증한다.