[논문 리뷰] Causal Unsupervised Semantic Segmentation

Junho Kim, Byung‐Kwan Lee외 1명|arXiv (Cornell University)|2023. 10. 11.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

CAUSE는 개념 클러스터북을 중개자로 사용하여 개념별로 자기지도 학습을 가능하게 하는 원인론적 비지도 의미 분할 프레임워크를 제안한다. 전면 조정을 통해 클러스터링의 해상도를 명시적으로 모델링함으로써 최신 기술 수준의 성능을 달성한다. 이는 픽셀 수준의 애너테이션 없이도 사람의 부분이나 차량과 같은 세분화된 개념을 분할하는 데에서 이전의 비지도 방법들을 능가한다.

ABSTRACT

Unsupervised semantic segmentation aims to achieve high-quality semantic grouping without human-labeled annotations. With the advent of self-supervised pre-training, various frameworks utilize the pre-trained features to train prediction heads for unsupervised dense prediction. However, a significant challenge in this unsupervised setup is determining the appropriate level of clustering required for segmenting concepts. To address it, we propose a novel framework, CAusal Unsupervised Semantic sEgmentation (CAUSE), which leverages insights from causal inference. Specifically, we bridge intervention-oriented approach (i.e., frontdoor adjustment) to define suitable two-step tasks for unsupervised prediction. The first step involves constructing a concept clusterbook as a mediator, which represents possible concept prototypes at different levels of granularity in a discretized form. Then, the mediator establishes an explicit link to the subsequent concept-wise self-supervised learning for pixel-level grouping. Through extensive experiments and analyses on various datasets, we corroborate the effectiveness of CAUSE and achieve state-of-the-art performance in unsupervised semantic segmentation.

연구 동기 및 목표

• 지도 없이 무엇을 클러스터링할지, 어떻게 클러스터링할지가 불확실한 비지도 의미 분할에서의 불확실한 클러스터링 목표 문제를 해결하기 위해.
• 다양한 추상화 수준에서 개념 프로토타입을 명시적으로 모델링하여 분할의 해상도를 향상시키기 위해.
• 특히 전면 조정을 활용한 원인론적 추론을 통해 비지도 픽셀 수준의 그룹화에서 혼란 요인을 분리하기 위해.
• 관측되지 않은 혼란 요인으로부터의 뒷길 경로를 차단하기 위해 이산화된 중개자인 개념 클러스터북을 사용하여 개념별 자기지도 학습을 가능하게 하기 위해.
• 인간이 애너테이션한 분할 마스크가 전혀 없이 COCO-Stuff와 Cityscapes에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 다양한 해상도에서 개념 프로토타입의 중개자로 기능하는 이산화된 중개자인 개념 클러스터북 M을 구성하며, 이는 사전 훈련된 특징 T와 의미 그룹 Y 사이의 원인론적 중개자 역할을 한다.
• M을 원인 추정의 충분한 통계량으로 사용하여, 관측되지 않은 혼란 요인 U로부터의 뒷길 경로를 차단하기 위해 전면 조정을 적용한다.
• M의 이산화된 색인을 통해 양성 쌍을 정의하고 다른 개념에서 음성 쌍을 샘플링하여 개념별 대비 학습을 사용해 분할 헤드를 훈련시킨다.
• 이중 단계 훈련 과정을 사용한다: 첫 번째 단계에서는 군집 알고리즘(예: 계층적 군집, 스펙트럴 군집, K-means++)을 통해 개념 클러스터북 M을 학습하고, 두 번째 단계에서는 유연한 양성/음성 샘플링을 사용해 분할 헤드를 훈련시킨다.
• 완전 연결 CRF와 개념 백업을 통합하여 예측을 정밀하게 다듬고, 특히 세분화된 카테고리에서의 국소화 성능을 향상시킨다.
• 대비 학습 성능을 최적화하기 위해 양성 이완 φ⁺과 음성 이완 φ⁻와 같은 하이퍼파라미터를 제어한다.

실험 결과

연구 질문

• RQ1 지도 없이 비지도 의미 분할에서 적절한 클러스터링 수준를 어떻게 정의할 수 있는가?
• RQ2 특히 전면 조정을 활용한 원인론적 추론은 비지도 픽셀 수준의 그룹화를 어떻게 구성하여 분할의 해상도를 향상시킬 수 있는가?
• RQ3 이산화된 개념 클러스터북을 중개자로 사용하는 것이 종래의 엔드 투 엔드 군집화에 비해 비지도 의미 분할의 품질을 향상시키는가?
• RQ4 다양한 군집 방법과 군집 수는 CAUSE 프레임워크 내 개념 클러스터북의 성능에 어떤 영향을 미치는가?
• RQ5 CAUSE는 다양한 자기지도 사전 훈련 방법과 데이터셋 카테고리에 대해 얼마나 일반화되는가?

주요 결과

• CAUSE는 COCO-Stuff와 Cityscapes에서 최신 기술 수준의 성능을 달성하며, ViT-B/8를 사용할 경우 COCO-Stuff에서 41.9% mIoU와 74.9% pAcc를 기록하여 이전의 비지도 방법들을 능가한다.
• 절단 분석 결과, 개념 백업과 CRF의 조합은 기준 모델 대비 4.5% mIoU 향상을 보이며, 이는 예측 정밀도 향상에 기여하는 바를 입증한다.
• 클러스터북에 2048개의 개념을 사용한 계층적 군집을 적용할 경우 성능가까이 포화 상태에 도달함을 확인하여, 이 이상의 수치에서는 수익 감소 현상이 나타남을 시사한다.
• 양성 이완 φ⁺가 0.4이고 음성 이완 φ⁻가 0.55일 때 대비 학습 성능이 최적화되며, 이 값들에서 벗어나면 mIoU가 크게 감소함을 확인하였다.
• CAUSE는 COCO-171(171개 카테고리)에서도 강력한 성능을 유지하며, 28.0% mIoU와 90.8% pAcc를 기록하여 카테고리 복잡도 증가에 대한 강건성을 입증한다.
• 시각적 비교 결과, CAUSE는 사람, 스포츠, 차량과 같은 세분화된 개념을 의도한 해상도 수준에서 성공적으로 분할하는 데에 성공하였으며, 기준 모델들이 과도하거나 부족한 클러스터링을 하는 것과 대비된다.