[논문 리뷰] Fast Semantic Image Segmentation with High Order Context and Guided Filtering

Falong Shen, Gang Zeng|arXiv (Cornell University)|2016. 05. 13.

Advanced Neural Network Applications참고 문헌 25인용 수 8

한 줄 요약

이 논문은 거칠기에서부터 정교한 수준까지의 조건부 랜덤 필드 프레임워크 내에서 고차원적 맥락 모델링과 가이드 필터링을 통합한 빠르고 정확한 의미적 이미지 세분화 방법을 제안한다. 거칠기 수준에서는 기존의 CRF 추론을 대체하기 위해 학습 가능한 메시지 전달 메커니즘을 사용하고, 정교한 수준에서는 양면 CRF의 빠른 대체 수단으로서 가이드 필터링을 사용함으로써, Pascal VOC 2012 데이터셋에서 고전적 방법 대비 100배 빠른 추론 속도를 달성하면서도 최신 기술 수준의 성능을 확보한다.

ABSTRACT

This paper describes a fast and accurate semantic image segmentation approach that encodes not only the discriminative features from deep neural networks, but also the high-order context compatibility among adjacent objects as well as low level image features. We formulate the underlying problem as the conditional random field that embeds local feature extraction, clique potential construction, and guided filtering within the same framework, and provide an efficient coarse-to-fine solver. At the coarse level, we combine local feature representation and context interaction using a deep convolutional network, and directly learn the interaction from high order cliques with a message passing routine, avoiding time-consuming explicit graph inference for joint probability distribution. At the fine level, we introduce a guided filtering interpretation for the mean field algorithm, and achieve accurate object boundaries with 100+ faster than classic learning methods. The two parts are connected and jointly trained in an end-to-end fashion. Experimental results on Pascal VOC 2012 dataset have shown that the proposed algorithm outperforms the state-of-the-art, and that it achieves the rank 1 performance at the time of submission, both of which prove the effectiveness of this unified framework for semantic image segmentation.

연구 동기 및 목표

• 의미적 세분화에서 정확한 CRF 추론의 높은 계산 비용 문제를 해결하면서도 구조적 일관성을 유지하고자 한다.
• 객체 클래스 간의 저수준 이미지 특징과 고차원적 맥락적 관계를 통합함으로써 경계 정확도를 향상시키고자 한다.
• 딥 페처, 맥락 모델링, 경계 정밀 조정을 종단 간 학습하여 공동 최적화를 가능하게 하고자 한다.
• 정확도를 희생시키지 않고 실시간 추론 속도를 달성하고자 한다.

제안 방법

• 지역적 영역 특징과 추정된 레이블을 기반으로 한 메시지 전달 절차를 사용하여 고차원 클리크 상호작용을 모델링하는 거칠기 수준의 맥락 CRF를 도입한다.
• 딥 컨volution 네트워크를 활용하여 국소적 특징을 추출하고, 종단 간 방식으로 맥락 인식 표현을 공동 학습한다.
• CRF 내에서 기존의 양면 필터링을 단일 단계 메시지 전달 연산으로서의 가이드 필터링으로 대체함으로써, 평균 필드 알고리즘에서 100배의 속도 향상을 달성한다.
• 두 단계 추론 파이프라인을 사용한다: 거칠기 수준의 맥락 인코딩 이후에 가이드 필터링을 통한 정교한 수준의 경계 정밀 조정.
• 메시지 추정기와 깊은 특징 및 레이블 맵에서 유도된 평균 필드를 통한 근사 추론을 사용하여 공동 분포를 모델링한다.
• 국소 예측을 전역 맥락과 정렬하기 위해 은닉 전역 노드를 통합함으로써 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 명시적인 전역 그래프 추론 없이도 객체 클래스 간의 고차원 맥락 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 가이드 필터링은 경계 정밀 조정을 위한 양면 CRF의 계산적으로 효율적인 대체 수단으로 사용될 수 있는가?
• RQ3 딥 페처, 맥락 모델링, 경계 정밀 조정의 종단 간 학습이 세분화 정확도 향상에 기여하는가?
• RQ4 학습 가능한 메시지 전달를 갖춘 거칠기에서부터 정교한 수준까지의 프레임워크가 현저히 빠른 추론 속도를 확보하면서 최신 기술 수준의 성능를 달성할 수 있는가?

주요 결과

• 제안된 방법은 Pascal VOC 2012 테스트 세트에서 평균 교차율(mIoU) 78.1%를 달성하여 이전의 최신 기술 수준 방법들을 모두 능가한다.
• 제출 당시 Pascal VOC 2012 랭킹에서 1위 성능을 기록하여 최신 기술 수준의 성능를 확인하였다.
• 가이드 필터링 기반의 정밀 조정 단계는 고전적 학습 기반 CRF 방법 대비 100배 빠르며, 경계 정확도를 유지하거나 향상시킨다.
• 고차원 클리크 모델링을 적용한 거칠기 수준의 맥락 CRF는 기준 FCN 대비 20개 카테고리 중 14개에서 성능 향상을 보였다.
• 전체 파이프라인의 종단 간 공동 학습은 조각별 또는 후처리 접근 방식보다 더 우수한 일반화 능력과 일관성을 확보한다.
• 특히 '의자'와 '화분'과 같은 세분화된 카테고리에서 'Piecewise [8]' 및 '[31]'과 같은 방법들보다 정확도와 속도 면에서 뛰어나다.