[논문 리뷰] A Projected Gradient Descent Method for CRF Inference allowing End-To-End Training of Arbitrary Pairwise Potentials

Måns Larsson, Anurag Arnab외 3명|arXiv (Cornell University)|2017. 01. 24.

Advanced Neural Network Applications참고 문헌 26인용 수 4

한 줄 요약

이 논문은 딥러닝 파이프라인에서 임의의 비모수적 상관관계 잠재변수를 위한 엔드투엔드 훈련을 가능하게 하는 CRF 추론을 위한 투영 그래디언트 강하법을 제안한다. CRF 추론을 미분 가능한 레이어로 통합함으로써, 표준 가우시안 잠재변수를 초월하여 공간적이고 고차원적인 양면 필터를 학습하여 세분화 정확도를 향상시키며, NYUv2 및 Cityscapes 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Are we using the right potential functions in the Conditional Random Field models that are popular in the Vision community? Semantic segmentation and other pixel-level labelling tasks have made significant progress recently due to the deep learning paradigm. However, most state-of-the-art structured prediction methods also include a random field model with a hand-crafted Gaussian potential to model spatial priors, label consistencies and feature-based image conditioning. In this paper, we challenge this view by developing a new inference and learning framework which can learn pairwise CRF potentials restricted only by their dependence on the image pixel values and the size of the support. Both standard spatial and high-dimensional bilateral kernels are considered. Our framework is based on the observation that CRF inference can be achieved via projected gradient descent and consequently, can easily be integrated in deep neural networks to allow for end-to-end training. It is empirically demonstrated that such learned potentials can improve segmentation accuracy and that certain label class interactions are indeed better modelled by a non-Gaussian potential. In addition, we compare our inference method to the commonly used mean-field algorithm. Our framework is evaluated on several public benchmarks for semantic segmentation with improved performance compared to previous state-of-the-art CNN+CRF models.

연구 동기 및 목표

• 세분화에 사용되는 CRF에서 수작업으로 설계된 가우시안 상관관계 잠재변수의 한계를 해결하기 위해.
• 딥 네트워크 내에서 임의의 비모수적 상관관계 잠재변수의 엔드투엔드 훈련을 가능하게 하기 위해.
• 백프로파게이션과 호환되는 미분 가능한 CRF 추론 방법을 개발하기 위해.
• 학습된 잠재변수가 표준 가우시안 잠재변수보다 더 복잡한 레이블 상호작용을 모델링할 수 있음을 경험적으로 검증하기 위해.
• 제안된 프레임워크를 사용하여 공개 벤치마크에서 더 높은 세분화 정확도를 달성하기 위해.

제안 방법

• 방법은 투영 그래디언트 강하법를 사용하여 겔즈 에너지를 최소화하는 조건부 최적화 문제로 CRF 추론을 공식화한다.
• 최적화는 딥 네트워크 내의 미분 가능한 레이어로 전개되어 추론 단계를 거쳐 역전파가 가능하도록 한다.
• 상관관계 잠재변수는 이미지 픽셀 값과 상대적 위치에 따라 의존하는 공간 필터 또는 고차원 양면 필터로 매개변수화된다.
• 프레임워크는 비가우시안 및 비대칭 필터를 포함한 임의의 잠재변수 형태를 지원하며, 그래디언트 강하법를 통해 학습된다.
• 변분 추론에서의 KL 발산 최소화와는 달리, 에너지 직접 최소화를 통해 평균장 근사치를 피한다.
• 방법은 FCN-8s, LRR 등 CNN에 통합되어 표준 역전파를 사용한 엔드투엔드 훈련이 가능하다.

실험 결과

연구 질문

• RQ1 CRF 내에서 비모수적이고 학습된 상관관계 잠재변수는 세분화에서 표준 가우시안 잠재변수를 능가할 수 있는가?
• RQ2 미분 가능한 추론을 통한 CRF 잠재변수의 엔드투엔드 훈련은 세분화 정확도를 향상시키는가?
• RQ3 제안된 투영 그래디언트 강하법는 평균장 근사치보다 더 높은 추론 품질을 달성할 수 있는가?
• RQ4 학습된 잠재변수는 교차로 신호등의 수직 가장자리 선호도와 같은 복잡한 레이블 상호작용을 포착할 수 있는가?
• RQ5 이 프레임워크는 Cityscapes 및 NYUv2와 같은 대규모 데이터셋에서 확장 가능하고 효과적인가?

주요 결과

• 제안된 CRF-Grad 레이어는 NYUv2 데이터셋에서 평균 교차율(мIoU)을 향상시켰으며, 특히 그림과 같은 매달린 물체의 형태 유지가 향상된 정성적 결과를 보였다.
• Cityscapes에서 CRF-Grad 레이어는 '신호등' 클래스의 IoU를 66.8%에서 68.1%로 높여 얇고 수직적인 구조의 정확한 국소화를 향상시켰다.
• 학습된 공간 필터는 비가우시안 형태를 보였으며, 수직 가장자리를 선호하는 타원형 형태를 통해 기하학적 일관성 선호도를 반영했다.
• 프레임워크는 NYUv2 및 Cityscapes 모두에서 최신 기술 수준의 성능을 달성했으며, 기준 LRR 모델 대비 19개 클래스 중 14개에서 성능 향상 또는 동일한 성능을 기록했다.
• 에너지 최소화 및 세분화 품질 측면에서 평균장 추론을 능가했으며, KL 발산 근사치가 필요 없었다.
• 프레임워크는 고차원 양면 필터와 공간 필터를 성공적으로 학습했으며, 딥러닝 파이프라인 내에서 임의의 잠재변수 형태를 효과적으로 최적화할 수 있음을 보여주었다.