[논문 리뷰] DiffusionSeg: Adapting Diffusion Towards Unsupervised Object Discovery

Chaofan Ma, Yuhuan Yang외 6명|arXiv (Cornell University)|2023. 03. 17.

Visual Attention and Saliency Detection인용 수 6

한 줄 요약

DiffusionSeg는 사전 훈련된 확산 모델을 비지도 객체 탐지에 적응시키기 위한 새로운 합성-이용 프레임워크를 제안한다. 학습이 없는 AttentionCut을 통해 합성된 이미지-마스크 쌍을 생성하고, 확산 역행을 통해 구분 가능한 특징을 추출한다. 이는 여섯 가지 벤치마크에서 최고 성능을 기록하며, 픽셀 수준 작업에 대해 확산 기반 사전 훈련이 우수함을 입증한다.

ABSTRACT

Learning from a large corpus of data, pre-trained models have achieved impressive progress nowadays. As popular generative pre-training, diffusion models capture both low-level visual knowledge and high-level semantic relations. In this paper, we propose to exploit such knowledgeable diffusion models for mainstream discriminative tasks, i.e., unsupervised object discovery: saliency segmentation and object localization. However, the challenges exist as there is one structural difference between generative and discriminative models, which limits the direct use. Besides, the lack of explicitly labeled data significantly limits performance in unsupervised settings. To tackle these issues, we introduce DiffusionSeg, one novel synthesis-exploitation framework containing two-stage strategies. To alleviate data insufficiency, we synthesize abundant images, and propose a novel training-free AttentionCut to obtain masks in the first synthesis stage. In the second exploitation stage, to bridge the structural gap, we use the inversion technique, to map the given image back to diffusion features. These features can be directly used by downstream architectures. Extensive experiments and ablation studies demonstrate the superiority of adapting diffusion for unsupervised object discovery.

연구 동기 및 목표

• 사전 훈련된 확산 모델(일般적으로 생성 작업에 사용됨)이 비지도 객체 탐지와 같은 픽셀 수준의 판별 작업에 어떻게 효과적으로 활용될 수 있는지 탐색한다.
• 생성 확산 모델과 객체 탐지, 시각적 중요도 분할과 같은 판별적 최종 작업 사이의 구조적 불일치 문제를 해결한다.
• 비지도 설정에서 레이블이 제한된 문제를 해결하기 위해 고품질의 이미지-마스크 쌍을 합성한다.
• 확산 역행을 통해 직접적으로 확산 특징을 사용할 수 있도록 함으로써 생성 및 판별 아키텍처 간 격차를 메운다.
• 확산 기반 사전 훈련이 밀도 예측 작업에서 판별적 사전 훈련(예: CLIP, DINO)을 능가할 수 있음을 입증한다.

제안 방법

• 두 단계 프레임워크를 제안한다: 합성(데이터 생성) 및 활용(특징 활용).
• 학습이 없는 AttentionCut을 도입하여, 이미지 합성 중 확산 모델의 상호 및 자기 어텐션 맵을 활용해 마스크를 생성한다.
• 무작위 노이즈와 카테고리 레이블을 사용해 텍스트-이미지 확산 모델을 활용하여 정밀한 마스크가 포함된 현실적인 이미지를 합성한다.
• 실제 이미지를 잠재 확산 특징 공간으로 역행시켜 결정론적 특징 추출을 가능하게 한다.
• 역행된 확산 특징을 경량 디코더를 통해 최종 분할 작업에 사용 가능한 일반화된 표현으로 활용한다.
• 단일 세그먼테이션 디코더를 합성 데이터로 훈련시켜 다양한 작업 간에 확산 사전 훈련의 통합된 활용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 생성 작업에서 뛰어난 성능을 보이는 사전 훈련된 확산 모델이 비지도 판별 작업(예: 객체 탐지)에 효과적으로 적응될 수 있는가?
• RQ2 생성 확산 모델과 판별적 객체 탐지 모델 간의 구조적 및 분포적 차이를 어떻게 극복할 수 있는가?
• RQ3 어떤 정도로 어텐션 기반 마스크를 통한 합성 데이터가 자원이 제한된 비지도 설정에서 성능 향상에 기여하는가?
• RQ4 특히 역행된 경우, 확산 특징에 암묵적으로 내장된 지식이 명시적으로 사전 훈련된 판별적 특징(예: CLIP, DINO)을 초월하는가?
• RQ5 카테고리 사전 지식(AttentionCut에서 사용됨)이 없거나 손상된 경우, 이 방법의 성능은 얼마나 견고한가?

주요 결과

• DiffusionSeg는 ECSSD, DUTS, DUT-OMRON(분할), VOC07, VOC12, COCO20K(검출) 등 여섯 가지 표준 벤치마크에서 최고 성능을 기록한다.
• ECSSD에서 이 방법은 정확도 92.4%와 IoU 71.0%를 기록했으며, CLIP(정확도 92.0%, IoU 72.8%)와 DINO(정확도 86.9%, IoU 70.1%)를 모두 능가한다.
• 합성 데이터를 5만 개로 확장했을 때, ECSSD에서 DiffusionSeg는 정확도 95.2%와 IoU 79.0%를 달성하여 기준 모델을 크게 능가한다.
• 절단 실험 결과, AttentionCut에서 의미적 일관성과 공간적 일관성을 동시에 고려한 조합이 최고의 성능(92.4% 정확도, 71.0% IoU)을 기록했으며, K-means나 DenseCRF와 같은 방법보다 뛰어나다.
• 역행을 통해 추출한 확산 특징은 판별적 특징보다 뛰어난 성능을 보였다: DUTS-TE에서 DiffusionSeg는 정확도 93.3%와 IoU 63.7%를 기록했으며, CLIP(정확도 92.4%, IoU 56.3%)를 능가했다.
• CLIP 분류 가능 사전 지식이 없는 경우에도 이 방법은 견고하며, DUT-OMRON에서 DiffusionSeg (w/o prior)는 정확도 92.9%와 IoU 62.8%를 기록해 레이블 의존성 외부로도 강력한 일반화 능력을 보였다.