[논문 리뷰] Learning Arbitrary Pairwise Potentials in CRFs for Semantic Segmentation

Måns Larsson, Anurag Arnab외 3명|arXiv (Cornell University)|2017. 01. 24.

Advanced Neural Network Applications참고 문헌 2인용 수 2

한 줄 요약

이 논문은 의미 분할에서 조건부 랜덤 필드(CRFs)를 위한 학습 가능한 쌍별 잠재 함수를 제안하며, 사영 경사 하강법을 통해 엔드 투 엔드 훈련을 가능하게 한다. 공간 및 양면 커널과 같은 비정규분포이자 이미지에 의존하는 잠재 함수를 학습함으로써, 기존의 가우시안 잠재 함수보다 분할 정확도를 향상시키며, 공개 벤치마크에서 이전의 CNN+CRF 방법들을 능가한다.

ABSTRACT

Are we using the right potential functions in the Conditional Random Field models that are popular in the Vision community? Semantic segmentation and other pixel-level labelling tasks have made significant progress recently due to the deep learning paradigm. However, most state-of-the-art structured prediction methods also include a random field model with a hand-crafted Gaussian potential to model spatial priors, label consistencies and feature-based image conditioning. In this paper, we challenge this view by developing a new inference and learning framework which can learn pairwise CRF potentials restricted only by their dependence on the image pixel values and the size of the support. Both standard spatial and high-dimensional bilateral kernels are considered. Our framework is based on the observation that CRF inference can be achieved via projected gradient descent and consequently, can easily be integrated in deep neural networks to allow for end-to-end training. It is empirically demonstrated that such learned potentials can improve segmentation accuracy and that certain label class interactions are indeed better modelled by a non-Gaussian potential. In addition, we compare our inference method to the commonly used mean-field algorithm. Our framework is evaluated on several public benchmarks for semantic segmentation with improved performance compared to previous state-of-the-art CNN+CRF models.

연구 동기 및 목표

• 의미 분할에서 수작업으로 제작된 가우시안 잠재 함수가 CRF에 최적임을 가정하는 것에 도전하기 위해.
• 쌍별 잠재 함수가 이미지 픽셀 값과 지원 크기에 따라 의존할 수 있도록 가능한 미분 가능한 추론 및 학습 프레임워크를 개발하기 위해.
• CRF 추론을 사영 경사 하강법을 통해 통합함으로써 딥 네트워크와 CRF 구성 요소를 함께 엔드 투 엔드로 훈련할 수 있도록 하기 위해.
• 학습된 비정규분포 잠재 함수가 표준 가우시안 잠재 함수보다 레이블 상호작용을 더 잘 모델링할 수 있음을 경험적으로 검증하기 위해.

제안 방법

• CRF 추론을 사영 경사 하강법 최적화 문제로 공식화하여, 추론 과정을 통해 역전파가 가능하도록 한다.
• 이미지 픽셀 값과 지원 크기에 따라 의존하는 쌍별 잠재 함수를 설계하여, 공간 및 고차원 양면 커널 형식을 가능하게 한다.
• 잠재 함수의 매개변수를 딥 네트워크와 함께 엔드 투 엔드로 최적화할 수 있도록 가능한 미분 가능한 학습 프레임워크를 도입한다.
• 전통적인 평균장 근사법을 대체하기 위해 CRF 추론 문제를 해결하기 위해 사영 경사 하강법 기반의 방법을 사용한다.
• 표준 공간 및 고차원 양면 커널을 다양한 유연성과 학습 가능한 잠재 함수로 지원한다.
• 딥 뉴럴 네트워크 기반의 분할 파이프라인에 학습된 CRF 레이어를 통합하여 특징과 CRF 매개변수를 함께 최적화한다.

실험 결과

연구 질문

• RQ1 학습된 비정규분포 쌍별 잠재 함수가 수작업으로 제작된 가우시안 잠재 함수보다 의미 분할 성능을 향상시킬 수 있는가?
• RQ2 미분 가능한 추론을 통해 CRF 잠재 함수를 딥 네트워크와 함께 엔드 투 엔드로 훈련하는 것이 가능한가?
• RQ3 정확도와 수렴성 측면에서 학습된 잠재 함수는 평균장 근사법보다 어떻게 다른가?
• RQ4 일부 특정 레이블 클래스 간 상호작용은 비정규분포 잠재 함수가 가우시안 잠재 함수보다 더 유리한가?
• RQ5 제안된 프레임워크는 더 높은 최신 기술 성능을 달성하면서 다양한 의미 분할 벤치마크에 일반화 가능한가?

주요 결과

• 제안된 프레임워크는 여러 공개 벤치마크에서 이전의 최신 기술 CNN+CRF 모델보다 향상된 분할 정확도를 달성한다.
• 특히 비정규분포 잠재 함수는 복잡한 레이블 상호작용을 모델링하는 데 표준 가우시안 잠재 함수보다 뛰어나다.
• 사영 경사 하강법을 통한 엔드 투 엔드 훈련은 딥 특징과 함께 CRF 매개변수를 효과적으로 최적화할 수 있도록 한다.
• 이미지에 의존하는 비정규분포 잠재 함수는 고정된 가우시안 커널보다 공간적 및 특징 기반 사전 지식을 더 잘 포착할 수 있음을 보여준다.
• 사영 경사 하강법을 통한 추론은 정확도 측면에서 평균장 근사법보다 더 효과적이다.
• 이 프레임워크는 이미지 콘텐츠에 적응하는 양면 및 공간 커널 기반의 잠재 함수를 성공적으로 학습하여 예측 일관성을 향상시킨다.