[논문 리뷰] Efficient Likelihood Learning of a Generic CNN-CRF Model for Semantic Segmentation.

Alexander Kirillov, Dmitrij Schlesinger외 5명|arXiv (Cornell University)|2015. 11. 16.

Advanced Neural Network Applications참고 문헌 28인용 수 15

한 줄 요약

이 논문은 깊이 영상에서 의미 분할 성능을 향상시키기 위해 CNN 특징과 CRF 퍼텐셜을 통합하는 일반적인 CNN-CRF 모델을 위한 효율적이고 통합된 최대우도 학습 방법을 제안한다. 이 방법은 전체 파rameter 최적화를 가능하게 하는 확장 가능한 비모수적 CRF 학습을 제공하며, 이는 이전 방법들보다 형태와 맥락적 종속성을 더 잘 포착하여 뛰어난 성능을 발휘한다.

ABSTRACT

Deep Models, such as Convolutional Neural Networks (CNNs), are omnipresent in computer vision, as well as, structured models, such as Conditional Random Fields (CRFs). Combining them brings many advantages, foremost the ability to in-cooperate prior knowledge into CNNs, e.g. by explicitly modelling the dependencies between output variables. In this work we present a CRF model were unary factors are dependent on a CNN. Our main contribution is an efficient and scalable, maximum likelihood-based, learning procedure to infer all model parameters jointly. Previous work either concentrated on piecewise-training, or maximum likelihood learning of restricted model families, such as Gaussian CRFs or CRFs with a few variables only. In contrast, we are the first to perform maximum likelihood learning for large-sized factor graphs with non-parametric potentials. We have applied our model to the task of semantic labeling of body parts in depth images. We show that it is superior to selected competing models and learning strategies. Furthermore, we empirically observe that our model can capture shape and context information of relating body parts.

연구 동기 및 목표

• 조각별 학습 또는 제한된 모델을 통한 CRF 파rameter 학습 방식의 한계를 해결한다.
• CNN 기반 단항 퍼텐셜을 갖는 대규모 비모수적 CRF 요인 그래프에서 통합 최대우도 학습을 가능하게 한다.
• CRF 모델링을 통해 구조적 및 맥락적 사전 지식을 통합하여 의미 분할 성능을 향상시킨다.
• 깊이 영상에서 신체 부위 간의 형태 및 공간적 관계를 포착할 수 있는 모델의 능력을 입증한다.

제안 방법

• 딥 컨볼루션 네트워크에서 유도된 단항 퍼텐셜을 갖는 일반적인 CNN-CRF 모델을 수립한다.
• 비모수적 CRF 퍼텐셜을 정의하여 쌍방향 종속성을 유연하고 데이터 기반으로 모델링할 수 있도록 한다.
• 모델 파rameter 전반에 대한 통합 최대우도 학습을 위한 효율적 최적화 절차를 개발한다.
• 스토하스틱 그래디언트 디센트와 근사 추론을 활용하여 대규모 요인 그래프로의 학습 스케일링을 실현한다.
• 가능한 디퍼런셜 CRF 추론을 사용하여 구조적 예측을 딥 편성과 통합한다.
• CRF 추론 과정을 통해 역전파가 가능하게 하여 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 CNN 특징을 갖는 대규모 비모수적 CRF 모델에 대해 통합 최대우도 학습을 효율적으로 스케일링할 수 있는가?
• RQ2 의미 분할에서 통합 학습 방식이 조각별 또는 제한된 학습 전략에 비해 어떻게 성능이 우월한가?
• RQ3 모델이 깊이 영상에서 신체 부위 간의 공간적 및 맥락적 관계를 어느 정도 포착할 수 있는가?
• RQ4 기본 CNN 및 CRF 모델에 비해 제안된 방법이 분할 정확도를 향상시키는가?

주요 결과

• 제안된 방법은 경쟁 모델 및 학습 전략에 비해 뛰어난 의미 분할 성능을 달성한다.
• 모델은 깊이 영상에서 관련된 신체 부위 간의 형태 및 맥락 정보를 효과적으로 포착한다.
• 통합 최대우도 학습은 조각별 또는 제한된 학습 접근 방식보다 더 나은 파rameter 최적화를 가능하게 한다.
• 비모수적 퍼텐셜을 갖는 대규모 요인 그래프로도 효율적으로 스케일링되어 실용적 구현이 가능하다.
• 실험 결과는 모델이 구조적 CRF 사전 지식을 활용함으로써 분할 정확도를 향상시킴을 확인한다.
• 복잡한 구조적 예측 작업에 대해 디퍼런셜 CRF 추론을 통한 엔드 투 엔드 학습의 가능성을 입증한다.