[논문 리뷰] PVPUFormer: Probabilistic Visual Prompt Unified Transformer for Interactive Image Segmentation

Xu Zhang, Kailun Yang외 4명|arXiv (Cornell University)|2023. 06. 11.

Visual Attention and Saliency Detection인용 수 4

한 줄 요약

이 논문은 가우시안 매핑을 통해 클릭, 상자, 스케치를 하나의 조밀한 1D 프롬프트 표현으로 통합하는 VPUFormer을 제안한다. 이는 더 깊은 상호작용을 가능하게 하며, 이중 크로스 머지링 어텐션과 프롬프트-픽셀 대비 손실(P²CL)을 통해 이미지 특징과의 상호작용을 강화한다. 다수의 프롬프트 입력을 통해 7개의 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 85%/90% IoU에 도달하기 위한 평균 상호작용 횟수를 각각 1.10/1.59로 감소시켰다.

ABSTRACT

Integration of diverse visual prompts like clicks, scribbles, and boxes in interactive image segmentation significantly facilitates users' interaction as well as improves interaction efficiency. However, existing studies primarily encode the position or pixel regions of prompts without considering the contextual areas around them, resulting in insufficient prompt feedback, which is not conducive to performance acceleration. To tackle this problem, this paper proposes a simple yet effective Probabilistic Visual Prompt Unified Transformer (PVPUFormer) for interactive image segmentation, which allows users to flexibly input diverse visual prompts with the probabilistic prompt encoding and feature post-processing to excavate sufficient and robust prompt features for performance boosting. Specifically, we first propose a Probabilistic Prompt-unified Encoder (PPuE) to generate a unified one-dimensional vector by exploring both prompt and non-prompt contextual information, offering richer feedback cues to accelerate performance improvement. On this basis, we further present a Prompt-to-Pixel Contrastive (P$^2$C) loss to accurately align both prompt and pixel features, bridging the representation gap between them to offer consistent feature representations for mask prediction. Moreover, our approach designs a Dual-cross Merging Attention (DMA) module to implement bidirectional feature interaction between image and prompt features, generating notable features for performance improvement. A comprehensive variety of experiments on several challenging datasets demonstrates that the proposed components achieve consistent improvements, yielding state-of-the-art interactive segmentation performance. Our code is available at https://github.com/XuZhang1211/PVPUFormer.

연구 동기 및 목표

• 상호작용 이미지 세그멘테이션에서 단일 프롬프트 상호작용의 한계를 극복하여 사용자 유연성과 상호작용 효율성을 향상시키기 위해.
• 고비용의 저장 및 계산을 야기하는 기존 2D 프롬프트 표현 방식(예: 거리 맵, 디스크 맵)의 비효율성과 약한 특징 상호작용 문제를 해결하기 위해.
• 클릭, 상자, 스케치와 같은 다양한 시각적 프롬프트를 공간적 의도를 유지하면서도 조밀하고 밀도 높은 표현으로 통합하여 깊은 다중모odal 상호작용을 가능하게 하기 위해.
• 프롬프트와 픽셀 수준의 특징을 정렬하는 새로운 대비 손실을 통해 사용자 피드백을 기반으로 이미지 의미 특징을 정교화하여 세그멘테이션 정확도를 향상시키기 위해.
• 다양한 프롬프트 유형 간 동적 전환을 지원함으로써 실제 응용에서의 영구적이고 다중모달 사용자 상호작용을 가능하게 하기 위해.

제안 방법

• 프롬프트 통합 인코더(PuE)는 가우시안 분포 기반의 수평 및 수직 투영을 사용하여 각 시각적 프롬프트를 1D 벡터로 매핑함으로써 조밀하고 밀도 높으며 공간 정보를 담은 표현을 생성한다.
• 통합된 프롬프트 표현은 이중 크로스 머지링 어텐션(DMA) 블록의 쿼리로 삽입되어 이미지 및 프롬프트 특징 간 깊이 있는 이중 방향 특징 상호작용을 가능하게 한다.
• 프롬프트-픽셀 대비 손실(P²CL)을 도입하여 유사한 프롬프트와 관련된 이미지 특징과의 유사도를 극대화하고, 비유사한 특징과의 유사도를 최소화함으로써 후보 의미 특징을 정교화한다.
• 디스크/거리 맵 대신 1D 벡터를 사용함으로써 2D 희소 표현을 회피하여 계산 및 메모리 오버헤드를 감소시킨다.
• 아키텍처 변경 없이도 다수의 프롬프트 입력(예: 클릭 + 상자 + 스케치)을 지원하여 사용자 상호작용의 영구성을 확보한다.
• 교차 엔트로피와 P²CL을 함께 사용하여 엔드 투 엔드로 학습함으로써 사용자 피드백에 기반한 예측의 반복적 정교화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 다양한 시각적 프롬프트(클릭, 상자, 스케치)를 효과적으로 인코딩할 수 있는 통합된 조밀한 1D 표현은 공간적 의도를 유지하면서도 계산 비용을 줄일 수 있는가?
• RQ2 어텐션 메커니즘을 통한 이미지 및 프롬프트 특징 간 깊은 상호작용은 단순한 연결보다 세그멘테이션 정확도를 향상시키는가?
• RQ3 대비 학습 기반 손실(P²CL)은 프롬프트 특징과 일치시키는 방식으로 이미지 의미 특징을 효과적으로 정교화하고 예측 일관성을 향상시키는가?
• RQ4 클릭 + 상자 + 스케치와 같은 다중 프롬프트 상호작용은 단일 프롬프트 상호작용에 비해 상호작용 효율성과 세그멘테이션 정확도에서 뛰어나게 되는가?
• RQ5 제안된 방법은 다양한 데이터 분포를 가진 다양한 데이터셋에 얼마나 잘 일반화되는가?

주요 결과

• VPUFormer은 Berkeley, DAVIS, SBD를 포함한 7개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 모든 설정에서 일관된 향상이 관찰되었다.
• 모든 세 가지 프롬프트 유형(클릭 + 상자 + 스케치)을 사용할 경우, 85% IoU에 도달하기 위한 평균 상호작용 횟수는 1.10으로 감소하였고, 90% IoU에 도달하기 위한 횟수는 1.59로 감소하였다. 이는 단일 프롬프트 기반 베이스라인을 능가하는 성능을 보였다.
• 클릭만을 사용할 경우 85% IoU에 도달하기 위해 평균 1.38회의 상호작용이 필요했으며, 모든 프롬프트 유형을 조합함으로써 상호작용 횟수는 감소하고 정확도는 향상되었다.
• 프롬프트-픽셀 대비 손실(P²CL)은 특징 정렬을 크게 향상시켜 진짜값에서의 편차를 줄이고 모호한 입력에 대한 강건성을 높였다.
• PuE를 통한 통합 1D 프롬프트 표현은 2D 맵 기반 방법 대비 저장 및 계산 비용을 감소시켰으며, 성능은 유지하거나 향상시켰다.
• 모델은 다양한 데이터셋에 대해 잘 일반화되었지만, 도메인 특화 미세조정 없이 의료 영상에서는 성능 저하가 발생하여 개방형 시나리오에서의 적응이 필요함을 시사한다.