[논문 리뷰] Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials

Philipp Krähenbühl, Vladlen Koltun|arXiv (Cornell University)|2012. 10. 20.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 2,974

한 줄 요약

본 논문은 가우시안 엣지 포텐셜을 갖는 완전 연결 CRF에 대해 매우 효율적인 평균장 추론 방법을 개발하여 픽셀 수준의 조밀한 연결을 가능하게 하고 이미지 분할에서 큰 정확도 향상을 달성하며 빠른 런타임을 달성한다.

ABSTRACT

Most state-of-the-art techniques for multi-class image segmentation and labeling use conditional random fields defined over pixels or image regions. While region-level models often feature dense pairwise connectivity, pixel-level models are considerably larger and have only permitted sparse graph structures. In this paper, we consider fully connected CRF models defined on the complete set of pixels in an image. The resulting graphs have billions of edges, making traditional inference algorithms impractical. Our main contribution is a highly efficient approximate inference algorithm for fully connected CRF models in which the pairwise edge potentials are defined by a linear combination of Gaussian kernels. Our experiments demonstrate that dense connectivity at the pixel level substantially improves segmentation and labeling accuracy.

연구 동기 및 목표

• 픽셀 수준의 이미지 분할을 위한 밀집(완전 연결) CRF의 필요성을 제시하여 경계 정확도와 라벨링 일관성을 향상시킨다.
• 완전 연결 CRF에서 MAP 추론을 가능하게 하는 확장 가능한 근사 추론 알고리즘을 개발한다.
• 데이터로부터 모형 파라미터(유니보리, 페어와이즈 커널, 호환성)를 효과적으로 학습한다.

제안 방법

• CRF 분포를 독립 마지널의 곱으로 근사하는 평균장 근사를 사용한다.
• 페어와이즈 포텐셜을 임의의 특징 공간에서 가우시안 커널의 선형 조합으로 형식화한다.
• 특징 공간에서 가우시안 필터링으로 메시지 전달을 수행하여 변수 수에 대한 복잡도를 2차에서 선형으로 감소시킨다.
• 특징 공간의 화백화( whitening ) 이후 퍼뮤토hedral 격자를 이용한 고차원 필터링으로 효율적인 합성곱을 구현한다.
• 부분적으로 학습하고 그래디언트 기반 최적화(L-BFGS를 호환성에, 커널 너비에 대한 격자 탐색)로 커널 가중치와 호환성 함수를 학습한다.
• 라벨 상호작용을 모델링하기 위해 Potts 포텐셜이나 학습된 대칭적 호환성 함수를 사용한다.

실험 결과

연구 질문

• RQ1 가우시안 엣지 포텐셜을 갖는 완전 연결 CRF가 더 희박한 모델이나 영역 기반 모델에 비해 픽셀 수준 분할 정확도를 향상시키는가?
• RQ2 고차원 가우시안 필터링을 이용한 평균장 추론이 밀집한 픽셀 그래프에서도 실용적인 런타임을 보이는가?
• RQ3 장거리 연결, 커널 너비, 라벨 호환성이 분할 품질과 경계 정밀도에 어떤 영향을 미치는가?

주요 결과

• CRF에서의 밀집 픽셀 수준 연결은 MSRC-21 및 PASCAL VOC 2010 데이터셋에서 격자 및 상위 차수 방식보다 분할 정확도를 향상시킨다.
• 제안된 평균장 추론은 단일 CPU 코어에서 약 0.2초 정도로 실행되며, MCMC나 그래프 컷과 같은 대안 추론 방법은 수 시간 걸린다.
• 장거리 연결(더 큰 공간적 및 색상 범위)은 어느 정도까지는 정확도를 증가시키지만, 일부 설정에서 거리 ≥35 픽셀의 에지에 총 페어와이 에너지의 50% 이상이 할당될 수 있으며, 과도한 장거리 전파는 라벨링을 오도할 수 있다.
• MSRC-21에서 학습된 라벨 호환성을 갖는 완전 연결 CRF는 88.2%의 글로벌 정확도와 84.7%의 평균 정확도(유니보리만 사용할 때의 84.0%/76.6%에 비해 증가).
• PASCAL VOC 2010에서 Potts 포텐셜을 갖는 완전 연결 모델은 평균 정확도 29.1%를 달성했고, 학습된 라벨 호환성으로 30.2%로 향상되며 그리드 CRF의 28.3%를 앞섰다.