[논문 리뷰] Exploring Context with Deep Structured models for Semantic Segmentation

Guosheng Lin, Chunhua Shen외 2명|arXiv (Cornell University)|2016. 03. 10.

Advanced Neural Network Applications참고 문헌 45인용 수 13

한 줄 요약

이 논문은 컨볼루션 신경망(CNNs)과 조건부 랜덤 필드(CRFs)를 통합하여 패치-패치 및 패치-배경의 문맥적 관계를 명시적으로 모델링함으로써 세분화 정확도를 향상시키는 딥 구조적 모델을 제안한다. CNN 기반의 상호작용 잠재변수를 학습하고 조각별 CRF 학습을 통해, 8개의 벤치마크 데이터셋(예: PASCAL VOC 2012 및 COCO)에서 최신 기준(SOTA) 성능을 달성한다.

ABSTRACT

State-of-the-art semantic image segmentation methods are mostly based on training deep convolutional neural networks (CNNs). In this work, we proffer to improve semantic segmentation with the use of contextual information. In particular, we explore `patch-patch' context and `patch-background' context in deep CNNs. We formulate deep structured models by combining CNNs and Conditional Random Fields (CRFs) for learning the patch-patch context between image regions. Specifically, we formulate CNN-based pairwise potential functions to capture semantic correlations between neighboring patches. Efficient piecewise training of the proposed deep structured model is then applied in order to avoid repeated expensive CRF inference during the course of back propagation. For capturing the patch-background context, we show that a network design with traditional multi-scale image inputs and sliding pyramid pooling is very effective for improving performance. We perform comprehensive evaluation of the proposed method. We achieve new state-of-the-art performance on a number of challenging semantic segmentation datasets including $NYUDv2$, $PASCAL$-$VOC2012$, $Cityscapes$, $PASCAL$-$Context$, $SUN$-$RGBD$, $SIFT$-$flow$, and $KITTI$ datasets. Particularly, we report an intersection-over-union score of $77.8$ on the $PASCAL$-$VOC2012$ dataset.

연구 동기 및 목표

• 지역적 스무쓰니스를 초월한 복잡한 공간적 문맥을 명시적으로 모델링하여 세분화 성능을 향상시키기 위해.
• 엔드 투 엔드 학습 중 백프로파게이션 시 계산 비용이 큰 CRF 추론 문제를 해결하기 위해.
• 다중 스케일 특징과 슬라이딩 피라미드 풀링을 활용하여 풍부한 배경 문맥을 포착함으로써 성능을 향상시키기 위해.
• 백프로파게이션 중 반복적인 CRF 추론을 피하는 효율적인 학습 전략을 개발하기 위해.
• 깊이 데이터를 사용하지 않는 경우도 포함하여 다양한 도전적인 세분화 벤치마크에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 이웃한 이미지 패치 간의 의미적 호환성을 모델링하기 위해 CNN 기반의 상호작용 잠재변수 함수를 정의하며, 기존의 Potts 모델 잠재변수를 대체한다.
• 이미지 영역 간 비대칭적인 의미적 관계를 포착하기 위해 비대칭 상호작용 잠재변수를 도입한다.
• 백프로파게이션 중 고비용의 추론을 피하기 위해 CRF의 조각별 학습을 활용하여, 딥 구조적 모델의 엔드 투 엔드 학습을 가능하게 한다.
• 다중 스케일 CNN 입력과 특징 맵에 대한 슬라이딩 피라미드 풀링을 사용하여 패치-배경 문맥을 효과적으로 인코딩한다.
• 粗-세분화 예측을 적용: 먼저 저해상도 CRF 기반 세분화를 생성한 후, 후처리 단계에서 업샘플링 및 정밀 조정을 수행한다.
• 학습 중 이방향 그래디언트 업데이트를 적용하여 최적화 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 CNN 기반의 학습된 비-Potts 상호작용 잠재변수는 기존의 CRF 스무쓰니스를 초월해 세분화 성능을 향상시킬 수 있는가?
• RQ2 딥 구조적 모델의 엔드 투 엔드 학습을 가능하게 하는 CRF의 조각별 학습은 얼마나 효과적인가?
• RQ3 다중 스케일 및 피라미드 풀링된 특징을 통합할 경우 배경 문맥 모델링에 얼마나 기여하는가?
• RQ4 패치-패치 및 패치-배경 문맥을 명시적으로 모델링하면 다양한 데이터셋에서 일관된 성능 향상이 이루어지는가?
• RQ5 깊이 또는 다중 작업 학습에 의존하는 최신 기준 기법들과 비교해 본다면, 이 방법은 어떻게 성능을 내는가?

주요 결과

• PASCAL VOC 2012 데이터셋에서 평균 IoU가 83.4%로 기록되어 기존 방법들을 능가하는 최신 기준 성능을 달성한다.
• COCO 데이터셋(80개 클래스)에서 88.3% 픽셀 정확도, 58.7% 평균 정확도, 46.8% IoU를 기록하며, 기준 완전 컨볼루션 네트워크를 크게 능가한다.
• SUN-RGBD 데이터셋(37개 클래스)에서 78.4% 픽셀 정확도와 53.4% 평균 정확도를 기록하며, 깊이 감독 없이도 이전 방법들을 능가한다.
• KITTI 데이터셋(10개 클래스)에서 93.3% 픽셀 정확도와 74.5% 평균 정확도를 기록하며, COCO 사전학습을 사용하면 각각 94.3%와 75.9%로 향상된다.
• SIFT-flow 데이터셋(33개 클래스)에서 88.1% 픽셀 정확도와 53.4% 평균 정확도를 기록하며, 이 벤치마크에서 보고된 바 가장 높은 성능이다.
• NYUDv2, Cityscapes, PASCAL-Context에서 모두 이전 방법들을 뛰어넘으며, 다양한 장면 유형과 이미지 도메인에서 일관된 성능 향상을 보여준다.