[논문 리뷰] Convolutional CRFs for Semantic Segmentation

Marvin Teichmann, Roberto Cipolla|arXiv (Cornell University)|2018. 05. 12.

Generative Adversarial Networks and Image Synthesis인용 수 51

한 줄 요약

이 논문은 조건부 독립 가정 하에 완전히 연결된 CRF를 컨볼루션으로 재구성함으로써 빠르고 미분 가능한 구조적 예측 프레임워크인 컨볼루션 CRF(Con-vCRF)를 제안한다. 느린 퍼뮤토에라드 라티스 근사치를 미분 가능한 컨볼루션으로 대체함으로써 추론과 훈련 속도를 두 배수 빠르게 하면서도, 모든 매개변수(예: 가우시안 특징)에 대한 엔드 투 엔드 백프로파게이션을 가능하게 하여 Pascal VOC에서 mIoU 72.18%의 최신 성능을 달성한다.

ABSTRACT

For the challenging semantic image segmentation task the best performing models have traditionally combined the structured modelling capabilities of Conditional Random Fields (CRFs) with the feature extraction power of CNNs. In more recent works however, CRF post-processing has fallen out of favour. We argue that this is mainly due to the slow training and inference speeds of CRFs, as well as the difficulty of learning the internal CRF parameters. To overcome both issues we propose to add the assumption of conditional independence to the framework of fully-connected CRFs. This allows us to reformulate the inference in terms of convolutions, which can be implemented highly efficiently on GPUs. Doing so speeds up inference and training by two orders of magnitude. All parameters of the convolutional CRFs can easily be optimized using backpropagation. Towards the goal of facilitating further CRF research we have made our implementations publicly available.

연구 동기 및 목표

• 의미 분할에서 전통적인 완전히 연결된 CRF의 느린 훈련 및 추론 속도 문제를 해결하기 위해.
• 특히 이차 특징을 포함한 CRF 매개변수 학습의 어려움을 엔드 투 엔드 딥 러닝 파이프라인에서 극복하기 위해.
• 백프로파게이션을 통한 효율적이고 훈련 가능한 방식으로 현대 딥 러닝에 통합 가능한 구조적 CRF 모델의 재활성화를 위해.
• 기울기 기반 최적화를 사용하여 CRF 내의 가우시안 이차 특징을 학습할 수 있도록 하기 위해.
• 전고해상도 예측을 지원하는 실용적이고 고속의 CRF 후처리 대체 방법을 제공하기 위해.

제안 방법

• 완전히 연결된 CRF에 조건부 독립 가정을 도입하여 메시지 전달을 단순화하고 컨볼루션 구현을 가능하게 한다.
• CRF 메시지 전달을 공간적으로 공유된 컨볼루션으로 재구성하여 효율적인 GPU 가속을 가능하게 한다.
• 퍼뮤토에라드 라티스 근사치를 미분 가능한 컨볼루션으로 대체하여 추론 및 훈련 시간을 크게 단축시킨다.
• 모든 CRF 매개변수(예: 가우시안 커널 특징 포함)를 백프로파게이션을 통해 엔드 투 엔드로 훈련시킨다.
• 두 가지 훈련 프로토콜을 구현한다: 분리된 훈련(보류된 데이터로 CRF 매개변수 훈련)과 엔드 투 엔드 훈련(단일 네트워크와 함께 공동 훈련).
• 단일 채널의 CNN 출력과 ConvCRF를 조합하여 의미 분할에 적용함으로써 구조적 정밀도 향상을 달성한다.

실험 결과

연구 질문

• RQ1 완전히 연결된 CRF의 계산 병목 현상은 그 모델링 능력을 유지하면서 극복될 수 있는가?
• RQ2 CRF 내의 가우시안 이차 특징은 백프로파게이션을 통해 엔드 투 엔드로 효과적으로 학습될 수 있는가?
• RQ3 퍼뮤토에라드 라티스를 컨볼루션으로 대체함으로써 정확도를 손상시키지 않고 훈련 및 추론 속도를 크게 향상시킬 수 있는가?
• RQ4 ConvCRF는 Pascal VOC와 같은 표준 벤치마크에서 최신 성능을 달성할 수 있는가?
• RQ5 딥 컨volution 네트워크와 결합할 때 CRF 매개변수의 엔드 투 엔드 훈련은 실현 가능하고 유익한가?

주요 결과

• ConvCRF는 전통적인 완전히 연결된 CRF 대비 추론 및 훈련 속도를 두 배수 빠르게 하였으며, 추론 시간은 10ms 이내이다.
• 이 방법은 이전에 최적화하기 어려웠던 모든 CRF 매개변수(예: 가우시안 이차 특징 포함)에 대해 엔드 투 엔드 백프로파게이션을 가능하게 하였다.
• Pascal VOC 2012 검증 세트에서 ConvCRF는 평균 교차율(mIoU) 72.18%를 달성하여 CRFasRNN(69.6%)과 DeepLab-CRF를 능가하였다.
• 보류된 학습 데이터의 일부를 사용해 CRF 매개변수를 校정하는 분리된 훈련 프로토콜이 가장 우수한 성능을 냈으며, 이는 단일 신뢰도 추정치의 보다 정확한 정렬 덕분이었다.
• 에포크 100부터 시작하는 엔드 투 엔드 훈련은 기준 모델에서 관찰된 성능 붕괴를 방지하고 더 높은 검증 mIoU를 이끌어내어 조기 공동 최적화의 중요성을 입증하였다.
• ConvCRF의 정확한 메시지 전달 방식은 근사 방법 대비 약간의 정확도 향상을 이끌어내어 정밀한 계산의 이점을 입증하였다.