[논문 리뷰] Higher Order Potentials in End-to-End Trainable Conditional Random Fields

Anurag Arnab, Sadeep Jayasumana외 2명|arXiv (Cornell University)|2015. 11. 25.

Advanced Neural Network Applications참고 문헌 34인용 수 15

한 줄 요약

이 논문은 객체 검출과 슈퍼픽셀 기반으로 유도 가능한 미분 가능한 고차원 잠재변수를 갖는 엔드 투 엔드 학습 가능한 조건부 랜덤 필드(CRF)를 제안하여, 심층 신경망과의 공동 학습을 통해 의미 분할 성능을 향상시킨다. 이러한 잠재변수를 평균장 추론 프레임워크에 통합함으로써, 표준 CRF와 기준 모델 대비 뚜렷한 성능 향상을 달성한다.

ABSTRACT

We tackle the problem of semantic segmentation using deep learning techniques. Most semantic segmentation systems include a Conditional Random Field (CRF) model to produce a structured output that is consistent with visual features of the image. With recent advances in deep learning, it is becoming increasingly common to perform CRF inference within a deep neural network to facilitate joint learning of the CRF with a pixel-wise Convolutional Neural Network (CNN) classifier. While basic CRFs use only unary and pairwise potentials, it has been shown that the addition of higher order potentials defined on cliques with more than two nodes can result in a better segmentation outcome. In this paper, we show that two types of higher order potential, namely, object detection based potentials and superpixel based potentials, can be included in a CRF embedded within a deep network. We design these higher order potentials to allow inference with the efficient and differentiable mean-field algorithm, making it possible to implement our CRF model as a stack of layers in a deep network. As a result, all parameters of our richer CRF model can be jointly learned with a CNN classifier during the end-to-end training of the entire network. We find significant improvement in the results with the introduction of these trainable higher order potentials.

연구 동기 및 목표

• 심층 신경망에 고차원 CRF 잠재변수를 통합하여 의미 분할 성능을 향상시키는 것.
• 고차원 잠재변수를 미분 가능하게 하여 CNN과의 엔드 투 엔드 학습이 가능한 CRF를 가능하게 하는 것.
• 효율적인 평균장 추론과 호환되는 객체 검출 기반 및 슈퍼픽셀 기반의 고차원 잠재변수를 설계하는 것.
• 학습 가능한 고차원 잠재변수가 분할 정확도에 측정 가능한 성과 향상을 이끌어내는지 입증하는 것.

제안 방법

• 두 개 이상의 노드로 구성된 클리크에 정의된 고차원 잠재변수를 도입하며, 특히 객체 검출 및 슈퍼픽셀 분할 출력을 활용한다.
• 평균장 근사와 호환되도록 이러한 잠재변수를 설계하여 효율적이고 미분 가능한 추론을 보장한다.
• CRF를 심층 신경망 내부의 미분 가능한 레이어로 통합하여 전체 아키텍처를 통해 역전파가 가능하게 한다.
• CNN 분류기에서 유도된 단항 잠재변수와 새로운 고차원 잠재변수를 통합된 CRF 프레임워크에서 결합한다.
• 분할 함수를 근사하기 위해 평균장 알고리즘을 적용하여 기울기 계산과 엔드 투 엔드 최적화를 가능하게 한다.
• 전체 모델을 엔드 투 엔드로 학습하여 CNN 가중치와 CRF 파라미터를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 심층 학습 파이프라인에 통합된 고차원 CRF 잠재변수가 의미 분할 성능 향상에 기여할 수 있는가?
• RQ2 객체 검출 기반 및 슈퍼픽셀 기반의 고차원 잠재변수를 엔드 투 엔드 학습에 적합하도록 미분 가능하게 만들 수 있는가?
• RQ3 이러한 학습 가능한 고차원 잠재변수의 통합이 표준 CRF 및 기준 모델 대비 측정 가능한 성능 향상을 이끌어내는가?
• RQ4 평균장 근사 하에서 이러한 고차원 잠재변수에 대해 효율적인 추론이 가능한가?

주요 결과

• 학습 가능한 고차원 잠재변수의 통합은 의미 분할 성능 향상에 뚜렷한 기여를 한다.
• 제안된 방법은 평균장 추론 기반으로 고차원 잠재변수를 미분 가능하게 하여, CNN과의 엔드 투 엔드 학습을 가능하게 한다.
• 객체 검출 기반 및 슈퍼픽셀 기반의 고차원 잠재변수들은 더 정확하고 구조적인 예측을 가능하게 한다.
• 구조적 모델링이 없는 표준 CRF 및 기준 모델 대비 더 우수한 분할 결과를 달성한다.