[논문 리뷰] Unsupervised Total Variation Loss for Semi-supervised Deep Learning of Semantic Segmentation

Mehran Javanmardi, Mehdi S. M. Sajjadi외 2명|arXiv (Cornell University)|2016. 05. 04.

Advanced Neural Network Applications참고 문헌 32인용 수 13

한 줄 요약

이 논문은 반감독 딥 러닝에서 의미 분할을 정규화하기 위해 비지도(total variation, TV) 손실을 제안하며, 공간 기울기의 l1-노름을 통해 예측된 레이블 확률 맵에 조각별로 부드러운 성질을 강제한다. 이 방법은 이 TV 손실을 지도 학습의 교차 엔트로피 손실과 결합하여, 특히 희소 레이블링 조건에서 뚜렷한 정확도 향상을 이끌어내며, PASCAL, Sift Flow, NYUv2 데이터셋에서 순수 지도 모델과 CRF 기반 후처리 방법을 모두 능가한다.

ABSTRACT

We introduce a novel unsupervised loss function for learning semantic segmentation with deep convolutional neural nets (ConvNet) when densely labeled training images are not available. More specifically, the proposed loss function penalizes the L1-norm of the gradient of the label probability vector image , i.e. total variation, produced by the ConvNet. This can be seen as a regularization term that promotes piecewise smoothness of the label probability vector image produced by the ConvNet during learning. The unsupervised loss function is combined with a supervised loss in a semi-supervised setting to learn ConvNets that can achieve high semantic segmentation accuracy even when only a tiny percentage of the pixels in the training images are labeled. We demonstrate significant improvements over the purely supervised setting in the Weizmann horse, Stanford background and Sift Flow datasets. Furthermore, we show that using the proposed piecewise smoothness constraint in the learning phase significantly outperforms post-processing results from a purely supervised approach with Markov Random Fields (MRF). Finally, we note that the framework we introduce is general and can be used to learn to label other types of structures such as curvilinear structures by modifying the unsupervised loss function accordingly.

연구 동기 및 목표

• 의미 분할에서 높은 데이터 주석 비용 문제를 해결하기 위해 희소 픽셀 수준 주석에서 효과적인 학습이 가능하도록 한다.
• 픽셀의 소수의 부분만 주석이 되었을 때 순수 지도 학습의 한계를 극복한다.
• 조각별로 부드러운 성질과 같은 자연 이미지의 특성을 활용하여 일반화 가능한 비지도 손실 함수를 개발한다.
• 공간 정규화를 위해 총 변동(Total Variation)을 사용할 경우, 반감독 설정에서 후처리 기반의 CRF 보다 더 우수한 성능을 낼 수 있음을 입증한다.
• 백프로파게이션 가능한 손실 함수를 통해 구조적 사전 지식을 통합함으로써, 레이블 데이터가 극히 적은 상황에서도 더 나은 최적화 해에 수렴하도록 한다.

제안 방법

• 예측된 레이블 확률 맵의 기울기의 l1-노름을 최소화함으로써 공간 차원에서의 부드러움을 강제하는 비지도 총 변동(TV) 손실을 제안한다.
• 표준 지도 학습의 교차 엔트로피 손실과 함께, 이 TV 손실을 정규화 항으로 학습 목표에 통합한다.
• TV 손실이 미분 가능하고 지도 학습 손실과 함께 공동 최적화될 수 있도록, 백프로파게이션을 통해 전체 컨volutional 네트워크(FCNs)를 엔드 투 엔드로 훈련한다.
• 이미지의 소수의 픽셀만 주석이 되어 있고, 나머지는 비지도 TV 손실에 사용되는 반감독 설정에서 이 방법을 적용한다.
• TV 손실을 통해 예측된 분할 맵의 공간적 맥락을 암묵적으로 모델링하고, CRF의 쌍방향 잠재변수와 유사하게 부드러움을 강제한다.
• 레이블 희소성 수준이 다른 세 가지 벤치마크 데이터셋(PASCAL, Sift Flow, NYUv2)에서 훈련하여 일반화 성능을 평가한다(레이블이 있는 픽셀 비율: 0.03%에서 0.07%까지).

실험 결과

연구 질문

• RQ1 희소 레이블링 조건에서 총 변동 손실을 통해 공간적 부드러움을 강제할 경우 의미 분할 정확도가 향상되는가?
• RQ2 희소 레이블링 조건에서 제안된 비지도 TV 손실은 순수 지도 학습과 CRF 기반 후처리 방법에 비해 정확도에서 어떻게 비교되는가?
• RQ3 레이블 데이터가 극히 제한된 상황에서 TV 손실이 솔루션 공간에서 더 나은 국소 최적화 해에 수렴하도록 도와주는가?
• RQ4 희소 지도 학습에서 레이블 불균형으로 인해 희귀 클래스의 성능이 얼마나 떨어지는가?
• RQ5 유도 기반 정규화를 적응시킴으로써, TV 손실이 다른 이미지 구조(예: 관통형 또는 곡선형 특징)로 일반화될 수 있는가?

주요 결과

• PASCAL VOC 2012 데이터셋에서 레이블이 0.03%인 경우, 반감독 방법은 평균 IoU 31.92%를 달성하여 순수 지도 기반 모델의 28.80%를 뛰어넘었다.
• Sift Flow 데이터셋에서 이미지당 10개의 레이블 픽셀이 있는 경우, 제안된 방법은 평균 클래스 정확도 58.19%를 달성했고, 순수 지도 접근 방식은 48.53%였다.
• 동일한 지도 기반 기준 모델에 비해 CRF 기반 후처리보다 뚜렷하게 성능이 뛰어나, 네트워크 내부 정규화가 후처리 보다 더 효과적임을 입증했다.
• NYUv2에서 레이블이 0.03%인 경우 반감독 접근 방식은 평균 IoU 34.26%를 기록했고, 순수 지도 모델은 31.92%였다.
• Sift Flow에서 빈도가 높은 상위 10개 클래스에 대해 성능 향상이 가장 두드러졌으며, 이미지당 30개의 레이블 픽셀이 있는 경우 최대 60.38%의 정확도를 달성했다.
• 희귀 클래스에서 레이블 부족으로 인한 정확도 저하가 있었음에도 불구하고, TV 손실은 학습을 안정화시키고 주로 흔한 클래스에 대한 일반화 성능 향상에 기여했다.