[논문 리뷰] SegSort: Segmentation by Discriminative Sorting of Segments

Jyh-Jing Hwang, Stella X. Yu외 5명|arXiv (Cornell University)|2019. 10. 15.

Advanced Image and Video Retrieval Techniques참고 문헌 81인용 수 10

한 줄 요약

SegSort는 이미지 세그먼트를 임bedding 공간에서 분류적으로 정렬하는 방식으로 의미적 세그먼테이션을 위한 엔드 투 엔드 딥 메트릭 러닝 접근법을 제안한다. 구면 K-means와 이웃 성분 분석을 활용한 이중 단계 EM 프레임워크를 통해 내부 세그먼트 유사성과 외부 세그먼트 이질성을 최적화함으로써, 비지도 학습에서 지도 학습 성능의 76%를 달성하고, 기존 픽셀 단위의 소프트맥스 방법에 비해 경계 정밀도와 일관성을 향상시킨다.

ABSTRACT

Almost all existing deep learning approaches for semantic segmentation tackle this task as a pixel-wise classification problem. Yet humans understand a scene not in terms of pixels, but by decomposing it into perceptual groups and structures that are the basic building blocks of recognition. This motivates us to propose an end-to-end pixel-wise metric learning approach that mimics this process. In our approach, the optimal visual representation determines the right segmentation within individual images and associates segments with the same semantic classes across images. The core visual learning problem is therefore to maximize the similarity within segments and minimize the similarity between segments. Given a model trained this way, inference is performed consistently by extracting pixel-wise embeddings and clustering, with the semantic label determined by the majority vote of its nearest neighbors from an annotated set. As a result, we present the SegSort, as a first attempt using deep learning for unsupervised semantic segmentation, achieving $76\%$ performance of its supervised counterpart. When supervision is available, SegSort shows consistent improvements over conventional approaches based on pixel-wise softmax training. Additionally, our approach produces more precise boundaries and consistent region predictions. The proposed SegSort further produces an interpretable result, as each choice of label can be easily understood from the retrieved nearest segments.

연구 동기 및 목표

• 현재 딥 러닝 방법들이 의미적 세그먼테이션을 픽셀 단위의 분류로 간주함으로써 시각적 장면의 인간 인지적 그룹화를 반영하지 못하는 한계를 해결하기 위해.
• 비모수적이고 엔드 투 엔드로 훈련 가능한 프레임워크를 개발하여, 이미지 간 시각적 및 의미적 유사성 기반으로 세그먼트를 정렬함으로써 시각적 표현을 학습하기 위해.
• 지상 진술 레이블이 전혀 필요 없이 윤곽 기반 허위 마스크와 메트릭 러닝만을 사용하여 비지도 의미적 세그먼테이션을 가능하게 하기 위해.
• 각 레이블 예측이 참조 세트에서 가장 가까운 이웃 세그먼트를 검색함으로써 설명 가능하도록 해석 가능한 세그먼테이션 결과를 생성하기 위해.
• 기존의 파rametric 픽셀 단위 예측 모델에 비해 경계 정밀도와 영역 일관성을 향상시키기 위해.

제안 방법

• 모든 픽셀을 컨볼루션 네트워크를 통해 시각적 임베딩 공간의 점으로 매핑함으로써, 공간적 근접성이 세그먼트 소속을 나타낸다.
• 이중 단계 기대값 최대화 프레임워크를 적용한다: 첫 번째 단계에서는 구면 (바이 마이스-피셔) K-means 클러스터링을 통해 임베딩 공간에서 이미지 세그먼테이션을 수행한다.
• 두 번째 단계에서는 E단계를 픽셀에서 세그먼트로의 손실로 재정의하여, CNN의 메트릭 러닝을 최적화함으로써 내부 세그먼트 유사성을 극대화하고 외부 세그먼트 이질성을 최소화한다.
• 비지도 학습에서는 HED 윤곽 검출기(HED-owt-ucm)를 사용하여 허위 세그먼트 마스크를 생성하며, 이는 의미 레이블 없이도 시각적 경계를 제공한다.
• 지도 학습 설정에서는 이웃 성분 분석(NCA) 기준을 도입하여 가장 가까운 이웃의 다수결 투표를 통해 의미 레이블 할당을 정밀화한다.
• 세그먼트 검색 및 계층적 클러스터링(FINCH)을 사용하여 자동으로 시각적 그룹을 발견함으로써, 학습된 임베딩 공간 내에서 세분화된 시각적 구조를 드러낸다.

실험 결과

연구 질문

• RQ1 딥 메트릭 러닝을 활용하여 세그먼트의 분류적 정렬로 간주함으로써 엔드 투 엔드 의미적 세그먼테이션을 수행할 수 있는가?
• RQ2 비모수적이고 임베딩 기반 접근법이 지도 및 비지도 설정 모두에서 기존의 파rametric 픽셀 단위 분류보다 우월한 성능을 낼 수 있는가?
• RQ3 제안된 방법이 기존의 소프트맥스 기반 모델에 비해 더 정밀한 경계와 더 일관성 있는 영역 예측을 제공하는가?
• RQ4 지상 진술 레이블이 전혀 없이 윤곽 기반 허위 마스크만으로도 의미 있는 의미적 세그먼테이션을 얻을 수 있는가?
• RQ5 참조 세트의 애너테이션된 세그먼트에서 가장 가까운 이웃을 검색함으로써 모델의 예측이 본질적으로 해석 가능한가?

주요 결과

• 비지도 학습에서 SegSort는 PASCAL VOC 2012 데이터셋에서 지도 학습 대비 평균 교차율(mIoU) 성능의 76%를 달성한다.
• HED-owt-ucm 마스크를 사용한 사전 학습된 특징의 기준 클러스터링보다 성능이 뛰어나, 엔드 투 엔드 메트릭 러닝의 효과를 입증한다.
• 비지도로 사전 학습된 임베딩에서의 미세조정은 무작위 초기화보다 성능을 향상시켜 학습된 표현의 전이 가능성(transferability)을 보여준다.
• 비지도 설정에서 학습된 임베딩는 의미적 의미보다는 시각적 유사성(예: 질감, 색상)에 더 집중하는 경향이 있으며, 이는 윤곽 기반 허위 마스크의 사용과 일치한다.
• 세그먼트 프로토타입에 대한 계층적 응집 클러스터링(FINCH)은 얼굴, 털, 파란 셔츠, 바퀴 등의 자동으로 발견된 시각적 그룹을 드러내며, 임베딩 공간 내에서 구조화된 의미적 조직을 나타낸다.
• 표준 파arametric 픽셀 단위 모델에 비해 더 정밀한 경계와 더 일관성 있는 영역 예측을 제공함을 입증한 결과, 경계 F-측정 점수가 높았다.