[논문 리뷰] Multiphase Level-Set Loss for Semi-Supervised and Unsupervised Segmentation with Deep Learning

Boah Kim, Jong Chul Ye|arXiv (Cornell University)|2019. 04. 05.

Advanced Neural Network Applications참고 문헌 32인용 수 3

한 줄 요약

이 논문은 딥 뉴럴 네트워크의 소프트맥스 출력과 고전적 레벨셋 특성 함수 간의 구조적 유사성을 활용하여, 다중단계 레벨셋 손실 함수를 제안한다. 이는 준감독 및 무감독 세분화를 가능하게 하며, 최소한의 또는 전혀 존재하지 않는 지도 데이터 마스크를 요구함에도 불구하고 여러 벤치마크에서 최신 기술 수준의 성능을 달성한다. 또한 정규화를 통해 표준 감독 세분화 모델의 성능을 향상시킨다.

ABSTRACT

Recent state-of-the-art image segmentation algorithms are mostly based on deep neural network, thanks to its high performance and fast computation time. However, these methods are usually trained in a supervised manner, which requires large number of high quality ground-truth segmentation masks. On the other hand, classical image segmentation approaches such as level-set methods are still useful to help generation of segmentation masks without labels, but these algorithms are usually computationally expensive and often have limitation in semantic segmentation. In this paper, we propose a novel multiphase level-set loss function for deep learning-based semantic image segmentation without or with small labeled data. This loss function is based on the observation that the softmax layer of deep neural networks has striking similarity to the characteristic function in the classical multiphase level-set algorithms. We show that the multiphase level-set loss function enables semi-supervised or even unsupervised semantic segmentation. In addition, our loss function can be also used as a regularized function to enhance supervised semantic segmentation algorithms. Experimental results on multiple datasets demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 딥 러닝 세분화 모델이 대량의 고품질 분할 마스크를 요구하는 한계를 해결한다.
• 고전적 레벨셋 방법이 레이블 없이도 분할 마스크를 생성할 수 있는 능력을 딥 러닝 프레임워크에 통합한다.
• 딥 뉴럴 네트워크 출력과 레벨셋 이론 간 격차를 메우는 미분 가능한 손실 함수를 개발한다.
• 저자원 환경, 즉 완전히 무감독 및 준감독 시나리오에서도 효과적인 의미적 이미지 세분화를 가능하게 한다.
• 표준 감독 세분화 모델의 성능을 향상시키기 위한 정규화 메커니즘을 제공한다.

제안 방법

• 다중단계 레벨셋 공식화에 영감을 받은 새로운 미분 가능한 손실 함수를 제안하며, 레이어의 소프트맥스 출력을 레벨셋 특성 함수의 대체로 사용한다.
• 예측된 분할 경계의 공간적 일관성과 매끄러움을 장려하는 변분 에너지 기반의 손실 함수를 구성한다.
• 레벨셋 손실을 표준 크로스 엔트로피 또는 다른 세분화 손실과 호환되는 정규화 요소로 통합한다.
• 이미지 수준의 감독 또는 약한 레이블 데이터만을 사용하여 딥 뉴럴 네트워크의 엔드 투 엔드 학습을 가능하게 한다.
• 레벨셋 방법의 수학적 구조를 활용하여 명시적인 마스크 감독 없이도 분할 윤곽을 암묵적으로 학습한다.
• 손실 함수를 통해 네트워크 최적화를 더 일관되고 의미적으로 유의미한 세분화 출력 쪽으로 이끈다.

실험 결과

연구 질문

• RQ1 소프트맥스 출력과 레벨셋 특성 함수 간의 구조적 유사성을 활용하여, 약한 감독 세분화를 위한 미분 가능한 손실을 설계할 수 있는가?
• RQ2 제안된 손실 함수가 어떤 정도의 지도 데이터 마스크 없이도 정확한 의미적 세분화를 가능하게 하는가?
• RQ3 다중단계 레벨셋 손실 함수는 제한된 레이블 데이터가 있는 준감독 환경에서 성능을 어떻게 향상시키는가?
• RQ4 손실 함수는 완전히 감독된 의미적 세분화에서 성능 향상을 위해 효과적인 정규화 요소로 기능할 수 있는가?
• RQ5 이 방법은 아키텍처 수정 없이도 다양한 데이터셋과 세분화 작업에 일반화되는가?

주요 결과

• 제안된 다중단계 레벨셋 손실은 여러 벤치마크 데이터셋에서 준감독 및 무감독 의미적 이미지 세분화에서 최신 기술 수준의 성능을 달성한다.
• 완전히 감독된 기반 모델 대비 훨씬 적은 수의 마스크 레이블로도 경쟁적인 성능을 달성한다.
• 손실 함수는 효과적인 정규화 요소로 작용하여, 표준 감독 학습 목표에 추가될 경우 세분화 정확도를 향상시킨다.
• PASCAL VOC 및 COCO와 같은 다양한 데이터셋에서 저자원 및 제로샷 감독 환경에서도 강건성을 보여준다.
• 지침 마스크가 전혀 없이도 이미지 수준의 감독만으로도 고품질의 공간적으로 일관된 세분화 예측을 달성한다.
• 손실 함수는 레벨셋 기반의 공식화를 통해 예측된 세분화 경계의 매끄럽고 일관된 성질을 효과적으로 강제한다.