[논문 리뷰] SegDiscover: Visual Concept Discovery via Unsupervised Semantic Segmentation

Haiyang Huang, Zhi Chen외 1명|arXiv (Cornell University)|2022. 04. 22.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

SegDiscover는 인간의 레이블 없이도 복잡한 시나리오에서 일관되고 다중 개념을 가진 세그먼테이션을 발견할 수 있도록, 비지도 학습 기반의 시각적 개념 발견 프레임워크를 제안한다. 이는 자기지도 학습 기반의 특징 학습과 신경망 정련 기법을 활용하여, 도메인 특화된 지도 학습 없이도 의미 있는 시각적 개념을 탐지한다. Cityscapes와 COCO-Stuff에서 최신 기준 성능을 달성하며, 다양한 사전 훈련된 인코더를 통해 해석 가능한 개념 기반 설명을 제공한다.

ABSTRACT

Visual concept discovery has long been deemed important to improve interpretability of neural networks, because a bank of semantically meaningful concepts would provide us with a starting point for building machine learning models that exhibit intelligible reasoning process. Previous methods have disadvantages: either they rely on labelled support sets that incorporate human biases for objects that are "useful," or they fail to identify multiple concepts that occur within a single image. We reframe the concept discovery task as an unsupervised semantic segmentation problem, and present SegDiscover, a novel framework that discovers semantically meaningful visual concepts from imagery datasets with complex scenes without supervision. Our method contains three important pieces: generating concept primitives from raw images, discovering concepts by clustering in the latent space of a self-supervised pretrained encoder, and concept refinement via neural network smoothing. Experimental results provide evidence that our method can discover multiple concepts within a single image and outperforms state-of-the-art unsupervised methods on complex datasets such as Cityscapes and COCO-Stuff. Our method can be further used as a neural network explanation tool by comparing results obtained by different encoders.

연구 동기 및 목표

• 인간의 레이블 없이도 복잡한 자연 이미지에서 의미 있는 시각적 개념을 탐지하는 데 도전한다.
• 기존 방법에서의 편향을 해결한다. 특히 레이블이 있는 지원 세트에 의존하거나 부각된 전경 객체에만 집중하는 경향을 개선한다.
• 한 장의 이미지 안에서 배경 및 맥락적 요소까지 포함해 다수의 일관된 개념을 동시에 탐지할 수 있도록 한다.
• 신경망 활성화 값에서 유래한 개념 기반 설명을 통해 해석 가능한 기계 학습의 기반을 마련한다.
• 자기지도 학습 인코더가 레이블에 의존하는 지도 학습 인코더보다 더 나은 개념 탐지 성능을 낼 수 있음을 입증한다. 이는 레이블링 편향이 감소하기 때문이다.

제안 방법

• 원본 이미지에서 패치 또는 슈퍼픽셀 수준의 영역을 생성하기 위해 비지도 이미지 세그먼테이션을 적용하여 개념 원소를 생성한다.
• 자기지도 사전 훈련된 컨볼루션 인코더의 잠재 공간에서 이러한 원소를 군집화하여 시각적 개념을 탐지한다.
• 클러스터 레이블을 다시 이미지로 매핑하고 의사 세그먼테이션 레이블을 예측할 수 있도록 학습하는 신경망 학습 과정을 통해 탐지된 개념을 정련한다.
• 다양한 자기지도 인코더(MoCo, SwAV, DeepCluster-V2)와 지도 학습 기반 ImageNet 인코더를 활용하여 개념 탐지 성능와 해석 가능성의 비교를 수행한다.
• 잠재 공간 군집화 단계에서 과적합을 줄이고 세그먼테이션 품질을 향상시키기 위해 K=100으로 과다 군집화를 적용한다.
• Cityscapes와 COCO-Stuff에서 mIoU, wIoU, pAcc를 통해 결과를 검증하고, 다양한 인코더 간의 개념 맵에 대한 정성적 분석을 수행한다.

실험 결과

연구 질문

• RQ1 실제 복잡한 시나리오에서 인간의 레이블 없이도 시각적 개념을 탐지할 수 있는가?
• RQ2 한 장의 이미지 안에서 배경 및 맥락적 요소까지 포함해 다수의 구분 가능한 개념을 동시에 식별할 수 있는가?
• RQ3 사전 훈련된 인코더의 선택(자기지도 vs. 지도 학습)이 탐지된 시각적 개념의 품질과 해석 가능성에 어떤 영향을 미치는가?
• RQ4 탐지된 개념들이 개념 기반의 시각화 지도를 통해 신경망의 행동을 설명하는 기초로 활용될 수 있는가?
• RQ5 정련 과정에서 전역 맥락 정보를 통합하면 탐지된 개념의 일관성과 정확도가 향상되는가?

주요 결과

• SegDiscover는 SwAV 및 DeepCluster-V2 인코더를 사용하여 Cityscapes와 COCO-Stuff에서 비지도 세그먼테이션 최신 기준 성능을 달성하며, 각각 mIoU 13.62와 14.34를 기록했다.
• 특히 DeepCluster-V2를 포함한 자기지도 인코더를 사용할 경우, 지도 학습 기반 ImageNet 분류기보다 더 높은 성능을 보이며 pAcc에서 4점 이상 향상되었다.
• 이 방법은 단일 이미지 내에서 비부각된 요소와 배경 요소(벽, 천장, 먼 곳의 식물 등)를 포함해 다수의 일관된 시각적 개념을 성공적으로 탐지했다.
• DeepCluster-V2를 사용한 SegDiscover는 COCO-Stuff에서 현재 최신 기준 성능을 기록한 PiCIE를 능가하며, 더 뛰어난 일반화 능력과 개념 일관성을 입증했다.
• 정성적 분석 결과, 다양한 인코더는 서로 다른 개념 맵을 생성한다. 예를 들어, MoCo는 보통 더 작은 세그먼트를 생성하는 반면, SwAV는 때로 건물의 일부를 '지면'으로 잘못 분류하는 경향이 있다. 이는 인코더에 따라 다른 인코딩 편향이 존재함을 시사한다.
• 이 프레임워크는 신경망의 개념 기반 설명을 가능하게 한다. 다양한 인코더는 서로 다른 관심 영역을 강조하며, 각각의 학습된 표현 방식의 구조적 차이를 드러낸다.