[논문 리뷰] Deep Spectral Methods: A Surprisingly Strong Baseline for Unsupervised Semantic Segmentation and Localization

Luke Melas-Kyriazi, Christian Rupprecht외 2명|arXiv (Cornell University)|2022. 05. 16.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 자기지도 학습 기반의 딥 테이터 특징에서의 라플라시안 행렬 고유벡터를 활용하여 상태최저 수준의 비지도 의미 분할 및 객체 국소화를 달성하는 단순하면서도 강력한 스펙트럼 방법을 제안한다. 이미지 패치를 그래프의 노드로 간주하고 유사도 행렬에 대해 스펙트럼 클러스터링을 적용함으로써, 레이블이 전혀 없는 조건에서도 복잡한 장면을 의미적으로 유의미한 영역으로 분해한다. 이는 PASCAL VOC 및 MS-COCO에서 이전의 딥 러닝 전용 접근 방식을 능가한다.

ABSTRACT

Unsupervised localization and segmentation are long-standing computer vision challenges that involve decomposing an image into semantically-meaningful segments without any labeled data. These tasks are particularly interesting in an unsupervised setting due to the difficulty and cost of obtaining dense image annotations, but existing unsupervised approaches struggle with complex scenes containing multiple objects. Differently from existing methods, which are purely based on deep learning, we take inspiration from traditional spectral segmentation methods by reframing image decomposition as a graph partitioning problem. Specifically, we examine the eigenvectors of the Laplacian of a feature affinity matrix from self-supervised networks. We find that these eigenvectors already decompose an image into meaningful segments, and can be readily used to localize objects in a scene. Furthermore, by clustering the features associated with these segments across a dataset, we can obtain well-delineated, nameable regions, i.e. semantic segmentations. Experiments on complex datasets (Pascal VOC, MS-COCO) demonstrate that our simple spectral method outperforms the state-of-the-art in unsupervised localization and segmentation by a significant margin. Furthermore, our method can be readily used for a variety of complex image editing tasks, such as background removal and compositing.

연구 동기 및 목표

• 인간에 의해 애너테이션된 데이터 없이도 복잡한 장면에서 비지도 의미 분할 및 객체 국소화 문제를 해결하는 것.
• 현대적인 자기지도 학습 기반 딥 테이처 특징과 결합된 전통적인 스펙트럼 그래프 방법이 비지도 비전 작업에 놀랍도록 강력한 기반 모델이 될 수 있는지 탐색하는 것.
• 이전 방법이 단일 객체 탐지에 국한되어 있음에도 불구하고, 이미지당 다수의 의미적 영역을 탐지할 수 있도록 하는 것.
• 실제 이미지 편집 응용 프로그램을 위한 소프트 이미지 분해(마티네이션)로의 확장

제안 방법

• 자기지도 학습 특징 추출기(예: DINO ViT)와 색상 유사도를 사용하여 이미지 패치 간에 가중치가 부여된 그래프를 구축한다.
• 그래프의 인접행렬과 차수행렬로부터 라플라시안 행렬을 구성하여 국소적이고 전역적인 이미지 구조를 모델링한다.
• 라플라시안 행렬의 고유벡터를 계산하며, 가장 작은 비영 고유값에 해당하는 고유벡터는 장면에서 가장 두드러진 객체를 나타낸다.
• 고유벡터에 임계값 처리를 적용하여 초기 이진 마스크 또는 세그먼테이션을 생성함으로써 객체 국소화를 수행한다.
• 모든 이미지 영역을 데이터셋 전체에서 그들의 특징 벡터를 기반으로 클러스터링하여 일관된 의미적(가짜) 레이블을 할당한다.
• 가짜 레이블 데이터를 사용한 자기학습을 수행하여 세그먼테이션 예측을 개선하고 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 자기지도 학습 기반 딥 테이처 특징과 결합된 스펙트럼 그래프 방법이 비지도 의미 분할에서 현대적인 딥 러닝 전용 접근 방식을 능가할 수 있는가?
• RQ2 딥 테이처 유사도 그래프의 고유분해가 추가적인 학습이나 감독 없이도 의미적으로 의미 있는 이미지 영역을 자연스럽게 도출할 수 있는가?
• RQ3 이 방법은 이전 방법이 한 장의 이미지당 하나의 객체에 국한되어 있음에도 불구하고, 한 장의 복잡한 이미지에서 다수의 구분 가능한 의미적 객체를 효과적으로 분할할 수 있는가?
• RQ4 이와 같은 프레임워크가 소프트 이미지 마티네이션 및 실세계 편집 작업에 얼마나 잘 적응될 수 있는가?

주요 결과

• 제안된 방법은 PASCAL VOC 2012 및 MS-COCO에서 비지도 의미 분할 및 객체 국소화에서 최고 성능을 기록하며, MaskContrast 및 기타 SOTA 방법을 뛰어넘었다.
• 이 방법은 한 장의 이미지에서 서로 다른 의미적 객체를 성공적으로 분할한다 — 예를 들어 강아지와 고양이 모두 — 반면 MaskContrast는 다수의 클래스를 구분하지 못한다.
• DINO ViT-B 특징을 사용할 경우, PASCAL VOC 2012에서 mIoU 43.6%를 달성하여 이전 SOTA의 40.2%를 크게 뛰어넘었다.
• 자기지도 학습 특징을 사용한 스펙트럼 접근 방식은 이미지 마티네이션으로도 잘 일반화되어 의미적으로 일관된 소프트 마스크를 생성하여 배경 추출 및 복합 편집에 적합하다.
• 세부 조정 없이도 이 방법은 복잡한 장면에서 강력하게 작동하여, 비지도 설정에서 스펙트럼 인덕티브 바이어스의 효과성을 입증한다.
• 이 방법은 전체 해상도에서 개별 이미지를 편집하는 데 계산적으로 가능하여 이미지 편집 및 복합 편집 응용 분야에서 실용적인 응용 가능성을 제공한다.