[논문 리뷰] Ref-Diff: Zero-shot Referring Image Segmentation with Generative Models

Minheng Ni, Yabo Zhang외 4명|arXiv (Cornell University)|2023. 08. 31.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

Ref-Diff는 훈련 데이터나 외부 제안기 없이도 생성 모델(예: Stable Diffusion)을 활용해 세밀한 시각-언어 관계를 암묵적으로 학습하는 제로샷 참조 이미지 세그멘테이션 방법을 제안한다. 이 방법은 단독으로 생성 모델만을 사용해도 최신의 약한 감독 모델 수준의 성능을 달성하며, 특히 CLIP와 같은 분류 모델과 조합할 경우 그 성능를 크게 뛰어넘어 생성 모델이 이 작업에 효과적이고 상호보완적임을 입증한다.

ABSTRACT

Zero-shot referring image segmentation is a challenging task because it aims to find an instance segmentation mask based on the given referring descriptions, without training on this type of paired data. Current zero-shot methods mainly focus on using pre-trained discriminative models (e.g., CLIP). However, we have observed that generative models (e.g., Stable Diffusion) have potentially understood the relationships between various visual elements and text descriptions, which are rarely investigated in this task. In this work, we introduce a novel Referring Diffusional segmentor (Ref-Diff) for this task, which leverages the fine-grained multi-modal information from generative models. We demonstrate that without a proposal generator, a generative model alone can achieve comparable performance to existing SOTA weakly-supervised models. When we combine both generative and discriminative models, our Ref-Diff outperforms these competing methods by a significant margin. This indicates that generative models are also beneficial for this task and can complement discriminative models for better referring segmentation. Our code is publicly available at https://github.com/kodenii/Ref-Diff.

연구 동기 및 목표

• 훈련 데이터가 없는 제로샷 참조 이미지 세그멘테이션 문제를 해결하기 위해 생성 모델이 암묵적으로 학습한 시각-언어 이해 능력을 활용한다.
• 생성 모델이 외부 제안 네트워크가 필요 없이 내재된 인스턴스 제안 생성기 역할을 할 수 있는지 탐구한다.
• 생성 모델과 분류 모델을 조합했을 때 제로샷 환경에서 세그멘테이션 정확도 향상에 기여하는 상호보완적 이점을 탐색한다.
• 생성 모델이 제공하는 세밀한 다중 모odal 이해 능력이 훈련 없이도 정확한 인스턴스 로컬라이제이션과 세그멘테이션을 가능하게 하는지 입증한다.

제안 방법

• 이 방법은 사전 훈련된 텍스트-이미지 디퓨전 모델(예: Stable Diffusion)을 사용해 참조 표현에 기반한 어텐션 맵을 생성하고, 이를 바탕으로 세그멘테이션 마스크를 예측한다.
• 생성 모델의 어텐션 메커니즘을 활용해 참조 텍스트의 특정 토큰, 특히 주어 토큰에 해당하는 관련 시각 영역에 집중한다.
• 외부 제안기(generator)가 필요 없으며, 생성 모델의 어텐션 분포를 통해 자연스럽게 인스턴스 수준의 제안을 생성한다.
• 최종 세그멘테이션은 생성 모델의 어텐션 맵을 통합하여 도출되며, CLIP와 같은 분류 모델과의 통합을 통해 보정이 가능하다.
• 하이브리드 Ref-Diff 프레임워크는 생성 모델의 로컬라이제이션 능력과 분류 모델의 강력한 분류 능력을 조합해 성능을 향상시킨다.
• 이 방법은 엔드 투 엔드로 미분 가능하며 추론 전용이므로, 어떤 미세조정 없이도 제로샷 배포가 가능하다.

실험 결과

연구 질문

• RQ1 Stable Diffusion와 같은 생성 모델이 제로샷 참조 이미지 세그멘테이션에 충분한 세밀한 시각-언어 관계를 암묵적으로 학습할 수 있는가?
• RQ2 생성 모델만으로도 효과적인 인스턴스 제안 생성기로 기능할 수 있으며, 외부 제안 네트워크가 필요 없을까?
• RQ3 생성 모델과 분류 모델을 조합했을 때 제로샷 참조 이미지 세그멘테이션에서 더 뛰어난 성능을 낼 수 있는가?
• RQ4 생성 모델의 어텐션 메커니즘이 참조 표현과 진짜 세그멘테이션 마스크 사이에 얼마나 잘 일치하는가?

주요 결과

• 생성 모델만으로도 세 가지 벤치마크 데이터셋에서 최신의 약한 감독 모델 수준의 성능를 달성하여, 훈련 없이도 제로샷 세그멘테이션에 타당함을 입증한다.
• 분류 모델(예: CLIP)과 조합했을 경우, 기존의 약한 감독 및 제로샷 방법을 크게 뛰어넘어 최신 성능를 달성한다.
• 시각화 결과에서 생성 모델의 어텐션은 특히 전체 텍스트 컨텍스트를 반영한 주어 토큰과 강하게 일치함을 확인할 수 있다.
• 생성 모델는 다양한 텍스트 토큰에 기반해 관련된 이미지 영역에 집중함으로써 맥락 이해 능력을 보이며, 정확한 로컬라이제이션과 세그멘테이션을 가능하게 한다.
• 실패 케이스의 주요 원인은 모호한 참조 표현으로, 예를 들어 왼쪽 가장자리의 손을 잘못 타겟으로 인식하는 경우가 많아 언어적 모호성에 대한 강건성 향상의 필요성이 드러난다.
• 추론 시 높은 계산 비용이 존재하지만, 이 방법은 훈련 없이 자원 효율적인 세그멘테이션을 가능하게 하여, 자원이 제한된 환경에서의 구현 장벽을 낮춘다.