[논문 리뷰] Learning High-level Prior with Convolutional Neural Networks for Semantic Segmentation

Haitian Zheng, Yebin Liu외 3명|arXiv (Cornell University)|2015. 11. 22.

Advanced Neural Network Applications참고 문헌 28인용 수 8

한 줄 요약

이 논문은 이미지와 세그멘테이션 인코더, 하이브리드 디코더를 사용해 훈련된 조건부 변동 자동인코더(CVAE)를 제안하며, 고수준의 글로벌 사전 지식을 세그멘테이션에 통합함으로써 다층 생성 구조(고수준 인코딩, 중수준 세그멘테이션, 저수준 이미지)를 모델링한다. 이 방법은 글로벌 일관성을 향상시키고, 다양한 데이터셋에서 FCN 및 FCN+CRF 기반 모델을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper proposes a convolutional neural network that can fuse high-level prior for semantic image segmentation. Motivated by humans' vision recognition system, our key design is a three-layer generative structure consisting of high-level coding, middle-level segmentation and low-level image to introduce global prior for semantic segmentation. Based on this structure, we proposed a generative model called conditional variational auto-encoder (CVAE) that can build up the links behind these three layers. These important links include an image encoder that extracts high level info from image, a segmentation encoder that extracts high level info from segmentation, and a hybrid decoder that outputs semantic segmentation from the high level prior and input image. We theoretically derive the semantic segmentation as an optimization problem parameterized by these links. Finally, the optimization problem enables us to take advantage of state-of-the-art fully convolutional network structure for the implementation of the above encoders and decoder. Experimental results on several representative datasets demonstrate our supreme performance for semantic segmentation.

연구 동기 및 목표

• 완전 컨volution 네트워크(FCNs)가 국소적 수용장에 의해 글로벌 일관성이 떨어지는 세그멘테이션을 생성하는 데에 한계가 있다는 문제를 해결하기 위해.
• 인간 시각 인지에 영감을 받아 객체의 형태나 환경적 맥락과 같은 고수준 의미론적 사전 지식을 딥러닝 기반 세그멘테이션에 통합하기 위해.
• 추가적인 감독 없이 픽셀 단위의 세그멘테이션 애너테이션에서 글로벌 특징을 학습하는 생성 모델을 개발하기 위해.
• 글로벌 구조와 국소적 세부 정보를 동시에 최적화하여 세그멘테이션 정확도를 향상시키기 위해 종단간 훈련이 가능한 딥 네트워크를 구현하기 위해.

제안 방법

• 고수준 인코딩(z), 중수준 세그멘테이션(s), 관측된 이미지(x)를 위한 잠재 변수를 갖는 삼중층 조건부 변동 자동인코더(CVAE)를 제안하며, 연합 분포 p(x, s, z)를 모델링한다.
• z가 먼저 샘플링되고, 그 다음에 z에 조건부로 s가 생성되며, 마지막으로 s에 조건부로 x가 생성되는 구조적 CVAE를 설계하여 인간의 시각 인식을 모방한다.
• 입력 이미지에서 고수준 특징을 추출하기 위해 이미지 인코더를 사용하고, 정답 세그멘테이션에서 고수준 특징을 추출하기 위해 세그멘테이션 인코더를 사용하며, 이미지 및 사전 지식 특징을 모두 사용하여 세그멘테이션을 재구성하기 위해 하이브리드 디코더를 적용한다.
• 백프로파게이션을 통해 종단간 최적화가 가능한 변동 하한 경계(ELBO)를 유도하여 훈련 목표로 사용한다.
• 효율적이고 정확한 특징 학습을 가능하게 하기 위해 최신의 완전 컨볼루션 네트워크(FCN) 아키텍처를 인코더 및 디코더로 활용한다.
• 이미지 인코더의 과적합을 방지하기 위해 데이터 증강(뒤집기, 소규모 이동)과 모델 용량 감소를 적용하여 글로벌 사전 지식의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 추가적인 감독 없이 픽셀 단위의 세그멘테이션 애너테이션에서 고수준 의미론적 사전 지식을 효과적으로 학습할 수 있는가?
• RQ2 고수준 글로벌 맥락은 순수하게 국소적 패치 기반 방법에 비해 세그멘테이션의 일관성과 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 CVAE 기반 아키텍처는 세그멘테이션 작업에서 표준 FCN 및 FCN+CRF 파ipeline을 얼마나 능가할 수 있는가?
• RQ4 이미지 인코더가 학습한 글로벌 사전 지식이 세그멘테이션 출력의 형태를 결정하는 데에 세그멘테이션 인코더보다 더 효과적인가?

주요 결과

• PASCAL VOC 2012 데이터셋에서 제안된 HR 네트워크는 평균 교차율(mIoU) 80.2%를 기록하여 베이스라인 FCN 및 FCN+CRF 방법을 능가한다.
• Penn-Fudan Pedestrian 데이터셋에서 HR 네트워크는 평균 픽셀 정확도 91.61%를 달성했으며, 조밀한 CRF 후처리를 적용하면 92.37%로 향상되어 MMBM+GraphCut 기반 모델을 초월한다.
• 이미지 인코더의 글로벌 사전 지식이 최종 세그멘테이션의 형태를 지배하며, 이는 이미지 인코더가 세그멘테이션 인코더보다 더 강력하고 일반화 능력이 뛰어난 고수준 특징을 학습한다는 것을 시사한다.
• 국소적 특징이 없더라도 고수준 인코딩만으로도 일반적인 객체의 형태를 재구성할 수 있어 글로벌 사전 지식의 효과성을 입증한다.
• 이미지 인코더의 용량 감소와 데이터 증강을 통해 과적합을 방지함으로써 모델이 과적합에 강건하며 일반화 능력이 향상됨을 확인했다.
• 제안된 CVAE를 CRF 기반 후처리와 조합하면 성능 향상이 추가로 이루어져 글로벌 및 국소적 모델링의 상호보완적 성질을 확인할 수 있다.