[논문 리뷰] Closed-Form Training of Conditional Random Fields for Large Scale Image Segmentation

Alexander Kolesnikov, Matthieu Guillaumin외 2명|arXiv (Cornell University)|2014. 03. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 27인용 수 10

한 줄 요약

이 논문은 반복적인 확률적 추론을 효율적인 회귀 문제로 대체함으로써 추론이 불필요한 조건부 랜덤 필드(CRFs)를 위한 폐쇄형 훈련 방법인 LS-CRF를 제안한다. 이는 대규모 영상 분할 데이터셋에서 확장 가능한 훈련을 가능하게 한다. 이 방법은 180,000장 이상의 이미지를 포함한 대규모 데이터셋에서 최신 기술 수준의 성능을 달성하며, 비선형 모델과 준지도 학습을 동반한 대규모 CRF 훈련이 실현 가능하고 효과적임을 입증한다.

ABSTRACT

We present LS-CRF, a new method for very efficient large-scale training of Conditional Random Fields (CRFs). It is inspired by existing closed-form expressions for the maximum likelihood parameters of a generative graphical model with tree topology. LS-CRF training requires only solving a set of independent regression problems, for which closed-form expression as well as efficient iterative solvers are available. This makes it orders of magnitude faster than conventional maximum likelihood learning for CRFs that require repeated runs of probabilistic inference. At the same time, the models learned by our method still allow for joint inference at test time. We apply LS-CRF to the task of semantic image segmentation, showing that it is highly efficient, even for loopy models where probabilistic inference is problematic. It allows the training of image segmentation models from significantly larger training sets than had been used previously. We demonstrate this on two new datasets that form a second contribution of this paper. They consist of over 180,000 images with figure-ground segmentation annotations. Our large-scale experiments show that the possibilities of CRF-based image segmentation are far from exhausted, indicating, for example, that semi-supervised learning and the use of non-linear predictors are promising directions for achieving higher segmentation accuracy in the future.

연구 동기 및 목표

• 기존의 CRF 훈련 방식이 반복적인 확률적 추론에 의존하여 대규모의 순환 구조를 가진 모델에서는 비현실적인 계산적 병목 현상을 해결하기 위해.
• 최적화 과정에서 반복적 추론이 필요 없도록 하여 10만 장 이상의 이미지를 포함한 데이터셋에서도 CRF 훈련이 가능하도록 하기 위해.
• 대규모 훈련이 CRF 성능에 미치는 영향을 분석하기 위해, 특히 이원항 잠재변수, 비선형 매개변수화, 준지도 학습에 초점을 맞추기 위해.
• 미래 연구를 지원하기 위해 18만 장 이상의 이미지와 도메인-배경 레이블을 포함한 두 개의 새로운 대규모 벤치마크 데이터셋을 구축하고 공개하기 위해.

제안 방법

• LS-CRF는 나무 구조를 가진 그래픽 모델에서 유도된 폐쇄형 해를 활용하여, CRF 매개변수 학습을 독립적인 회귀 문제의 집합으로 재구성한다.
• 초분할 그래프의 각 간선에 대해, 레이블 조합을 기반으로 훈련 서브문제를 구성하고, 이를 통해 회귀를 통해 조건부 확률을 예측한다.
• 선형 CRF 매개변수는 폐쇄형 최소 제곱 해 또는 공액 기울기와 같은 반복적 해법기를 사용하여 계산되며, 비선형 매개변수화도 지원된다.
• 이 방법은 훈련을 독립적인 서브문제로 분리하여 병렬 처리가 가능하게 하여, 기존의 CRF 학습 방식에 비해 훈련 시간을 크게 단축시킨다.
• 추론 단계에서는 학습된 회귀기들이 이원항 항의 에너지 값을 예측하고, 이를 표준 MAP 추론에 활용하여 분할을 수행한다.
• 이 접근법은 클래스 균형 샘플링, 개별 샘플 가중치 부여, 클래스 불균형 처리 등 다양한 모델링 유연성을 제공한다.

실험 결과

연구 질문

• RQ1 반복적 추론을 제거함으로써 10만 장 이상의 이미지를 포함한 데이터셋에 대해 CRF 훈련을 확장 가능한 방식으로 수행할 수 있는가?
• RQ2 이원항 CRF 잠재변수를 사용할 때, 훈련 데이터 크기를 늘일 경우 분할 정확도가 크게 향상되는가?
• RQ3 CRF에서 비선형 매개변수화는 효과적으로 훈련될 수 있으며, 선형 모델보다 더 높은 분할 성능을 낼 수 있는가?
• RQ4 박스 또는 개별 이미지 레이블에서 자동으로 생성된 애너테이션을 활용한 준지도 학습은 CRF 기반 영상 분할 성능 향상에 유용한가?

주요 결과

• 이중항 항이 포함된 전체 DogSeg 데이터셋에 대한 LS-CRF 훈련은 24코어 워크스테이션에서 45분이 소요되었으며, 이는 단일항 모델의 20분과 비교해도 확장 가능성을 입증한다.
• 비선형 LS-CRF 모델은 선형 모델보다 더 높은 분할 정확도를 달성하여, 표현력이 높을수록 성능 향상이 이루어짐을 시사한다.
• 단일항 모델과 이원항 모델 간의 성능 격차는 훈련 데이터가 증가함에 따라 커지며, 데이터가 많아질수록 이원항 항이 더 유용해짐을 보여준다.
• 경계 상자나 개별 이미지 레이블에서 자동 생성된 애너테이션을 활용한 준지도 학습은 각 클래스 정확도 82.0~83.9%를 달성하여 수동 애너테이션 데이터로 훈련한 결과와 유사한 성능을 보였다.
• 단일 이미지 레이블만 포함된 이미지를 포함시킬 경우 성능이 약간 감소했으며, 이는 이러한 애너테이션에 잠재적인 노이즈가 있음을 시사하지만, 여전히 유용한 신호를 제공한다.