[논문 리뷰] TransFGU: A Top-down Approach to Fine-Grained Unsupervised Semantic Segmentation

Zhaoyuan Yin, Pichao Wang외 5명|arXiv (Cornell University)|2021. 12. 02.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

TransFGU는 ImageNet에서 고수준의 의미적 사전 지식을 추출하기 위해 자기지도 학습된 시각 트랜스포머(DINO 등)를 활용하고, 이를 Grad-CAM을 통해 저수준 특징으로 매핑하여 가짜 레이블을 생성하며, 부트스트랩 메커니즘을 통해 반복적으로 세그멘테이션을 개선하는 새로운 상향식 비지도 의미 세그멘테이션 프레임워크를 제안한다. 이는 다양한 벤치마크에서 최신 기술을 초월하며, 세밀한 구조나 복잡한 시나리오에서의 세그멘테이션 성능을 뛰어나게 한다.

ABSTRACT

Unsupervised semantic segmentation aims to obtain high-level semantic representation on low-level visual features without manual annotations. Most existing methods are bottom-up approaches that try to group pixels into regions based on their visual cues or certain predefined rules. As a result, it is difficult for these bottom-up approaches to generate fine-grained semantic segmentation when coming to complicated scenes with multiple objects and some objects sharing similar visual appearance. In contrast, we propose the first top-down unsupervised semantic segmentation framework for fine-grained segmentation in extremely complicated scenarios. Specifically, we first obtain rich high-level structured semantic concept information from large-scale vision data in a self-supervised learning manner, and use such information as a prior to discover potential semantic categories presented in target datasets. Secondly, the discovered high-level semantic categories are mapped to low-level pixel features by calculating the class activate map (CAM) with respect to certain discovered semantic representation. Lastly, the obtained CAMs serve as pseudo labels to train the segmentation module and produce the final semantic segmentation. Experimental results on multiple semantic segmentation benchmarks show that our top-down unsupervised segmentation is robust to both object-centric and scene-centric datasets under different semantic granularity levels, and outperforms all the current state-of-the-art bottom-up methods. Our code is available at \url{https://github.com/damo-cv/TransFGU}.

연구 동기 및 목표

• 세밀한 구조나 시각적으로 유사하거나 매우 다양성이 큰 물체를 포함한 복잡한 시나리오에서 하향식 비지도 방법의 한계를 해결하기 위해.
• 사용자가 정의할 수 있는 클러스터 수(K)를 통해 비지도 세그멘테이션에서 의미적 세분성의 탄력적 제어를 가능하게 하기 위해.
• 학습된 의미적 사전 지식과 클래스 활성화 맵을 활용해 고수준 의미 개념과 저수준 픽셀 특징 간의 격차를 메우기 위해.
• 자기지도 사전 학습과 반복적인 가짜 레이블 개선을 통해 비지도 환경에서의 세그멘테이션 정확도를 향상시키기 위해.

제안 방법

• DINO로 학습된 시각 트랜스포머 특징을 활용해 ImageNet 데이터에서 자기지도 방식으로 강력한 고수준 의미적 사전 지식을 추출한다.
• 사전 학습된 특징의 의미 유사도를 기반으로 클러스터링 기반 방법을 적용해 타겟 데이터셋 내 잠재적 의미 카테고리들을 탐색한다.
• Grad-CAM을 통해 고수준 의미 표현을 저수준 특징 맵으로 투영하여 클래스별 활성화 맵을 생성하고, 이를 가짜 레이블로 사용한다.
• 가짜 레이블 품질을 반복적으로 개선하기 위해 재학습된 세그멘테이션 헤드를 사용하는 부트스트랩 메커니즘을 도입한다.
• 의미 특징 클러스터링 품질을 향상시키기 위해 전경-배경 패치 분리 전략을 도입한다.
• 사용자가 정의한 K(의미 카테고리의 수)를 통해 의미적 세분성의 탄력적 제어를 가능하게 하여 세밀하거나 거친 세그멘테이션을 조절할 수 있도록 지원한다.

실험 결과

연구 질문

• RQ1 사전 학습된 의미 사전 지식을 활용한 상향식 접근 방식이 하향식 비지도 방법보다 세밀한 의미 세그멘테이션에서 우월한 성능을 내는가?
• RQ2 DINO 기반 자기지도 학습 특징이 비지도 픽셀 수준 분류에 의미 사전 지식으로서 얼마나 효과적인가?
• RQ3 자기지도 사전 학습 방법의 선택(DINO 대비 MoCoV3 등)이 최종 세그멘테이션 성능에 어느 정도 영향을 미치는가?
• RQ4 전경 인식 패치 분리 전략이 클러스터링 품질과 세그멘테이션 정확도를 얼마나 향상시키는가?
• RQ5 재학습 없이도 다양한 의미 세분성 수준에서 일반화가 가능한가?

주요 결과

• TransFGU는 COCO-Stuff-171에서 mIoU 11.93, Pascal-VOC에서 mIoU 37.68(K=25)를 기록하며 최신 기술을 능가하는 성능을 보였다.
• 이 방법은 의미 중심의 데이터셋(LIP)과 시나리오 중심의 데이터셋(Cityscapes) 모두에서 다양한 의미 세분성 수준에서 뛰어난 안정성을 보였다.
• 8x8 패치 크기를 사용한 DINO는 16x16 패치보다 훨씬 뛰어난 성능(mIoU=11.93)을 보였으며, 이는 사전 지식 모델의 특징 해상도가 중요함을 시사한다.
• DINO를 MoCoV3로 대체하면 성능이 급격히 떨어지며(mIoU=2.32) 이는 자기지도 사전 학습 방법이 의미 사전 지식의 품질에 결정적인 영향을 미친다는 것을 확인한다.
• 정답 레이블 기반 자르기 전략은 mIoU를 11.93에서 12.16으로 약간 향상시켰으며, 이는 슬라이딩 윈도우 자르기 방식으로도 충분한 의미 정보를 확보할 수 있음을 보여준다.
• 전경 사전 지식을 제거하면 COCO-Stuff-171에서 mIoU가 11.93에서 9.52로 감소하여, 클러스터링 품질 향상에 전경 사전 지식이 중요한 역할을 한다는 점을 확인한다.