[논문 리뷰] W-Net: A Deep Model for Fully Unsupervised Image Segmentation

Xide Xia, Brian Kulis|arXiv (Cornell University)|2017. 11. 22.

Advanced Neural Network Applications참고 문헌 20인용 수 214

한 줄 요약

W-Net은 두 개의 U-Net 스타일 FCN을 인코더-디코더로 결합해 감독 없이 이미지 분할을 수행하며, 소프트 정규화 컷 손실 및 재구성 손실로 학습되고, 이후 CRF 스무딩 및 계층적 병합을 거친다. 라벨이 없는 데이터로 경쟁력 있는 BSDS 성능을 달성한다.

ABSTRACT

While significant attention has been recently focused on designing supervised deep semantic segmentation algorithms for vision tasks, there are many domains in which sufficient supervised pixel-level labels are difficult to obtain. In this paper, we revisit the problem of purely unsupervised image segmentation and propose a novel deep architecture for this problem. We borrow recent ideas from supervised semantic segmentation methods, in particular by concatenating two fully convolutional networks together into an autoencoder--one for encoding and one for decoding. The encoding layer produces a k-way pixelwise prediction, and both the reconstruction error of the autoencoder as well as the normalized cut produced by the encoder are jointly minimized during training. When combined with suitable postprocessing involving conditional random field smoothing and hierarchical segmentation, our resulting algorithm achieves impressive results on the benchmark Berkeley Segmentation Data Set, outperforming a number of competing methods.

연구 동기 및 목표

• 희소한 픽셀 단위 라벨이 있는 영역에서 무감독 이미지 분할의 동기를 제시한다.
• 슈퍼바이즈 없이도 조밀하고 k-웨이 픽셀 단위 분할을 생성하는 심층 인코더-디코더 아키텍처(W-Net)를 제안한다.
• 인코더 출력에 대한 소프트 정규화 컷 손실과 오토인코더의 재구성 손실을 공동으로 최적화한다.
• 후처리로 완전 연결 CRF 스무딩과 계층적 병합으로 분할 품질을 향상시킨다.

제안 방법

• 인코더(U_Enc) 출력이 K-웨이 픽셀 단위 소프트 분할을 생성하고 디코더(U_Dec)가 인코딩에서 입력을 재구성하는 자동인코더를 두 FCN이 직렬로 형성한다.
• 미분가능한 소프트-Ncut 손실(J_soft-Ncut)을 인코더 출력에 대해 최소화하여 내부-세그먼트 친화도와 세그먼트 간 비유사성을 촉진한다.
• 재구성 손실(J_reconstr)은 입력 X와 인코딩으로부터의 재구성 이미지 간 차이를 최소화한다.
• 학습은 교대로 수행된다: 먼저 J_soft-Ncut을 최소화하도록 U_Enc를 업데이트하고, 그런 다음 J_reconstr를 최소화하도록 U_Enc와 U_Dec를 업데이트한다.
• 매 모듈에 걸쳐 깊이wise 분리 합성곱을 사용하여 매개변수 효율성을 높이고 네트워크는 완전 컨볼루션형(전결합 계층 없음)이다.
• 후처리는 경계선을 선명하게 하는 완전 연결 CRF와 최종 세그먼트를 생성하는 계층적 병합(UCM 기반)을 사용한다.

실험 결과

연구 질문

• RQ1 완전 무감독 딥 아키텍처가 라벨이 없는 데이터로 경쟁력 있는 픽셀 단위 이미지 분할을 생성할 수 있는가?
• RQ2 인코더에서 도출된 소프트 분할과 재구성 목표를 결합하면 입력 구조와 일치하는 세그먼트를 얻을 수 있는가?
• RQ3 CRF 스무딩 및 계층적 병합과 같은 후처리 단계가 완전 무감독 분할에 어떤 이점을 제공하는가?
• RQ4 제안된 W-Net이 BSDS300/BSDS500과 같은 표준 무감독 분할 벤치마크에서 고전적 방법과 비교해 어떤 성능을 보이는가?

주요 결과

• W-Net은 BSDS300/BSDS500에서 고전적 무감독 방법에 견줄 만한 점수를 달성한다.
• 학습 중 소프트-Ncut를 포함하면 재구성 품질의 일부를 희생하면서도 더 일관된 세그먼트를 얻을 수 있다.
• CRF 스무딩 및 계층적 병합으로 최종 분할 품질(ODS/OIS)이 원래 W-Net 출력보다 향상된다.
• BSDS 벤치마크에서 W-Net은 일부 지표에서 인간 수준의 성능에 근접하고 여러 고전 방법을 능가한다.
• 감독 없이 훈련은 표현 학습을 위한 PASCAL VOC2012 같은 데이터셋을 사용하고 BSDS 정답을 통해서만 평가된다.