[논문 리뷰] Combining the Best of Graphical Models and ConvNets for Semantic Segmentation

Michael Cogswell, Xiao Lin외 2명|arXiv (Cornell University)|2014. 12. 14.

Visual Attention and Saliency Detection참고 문헌 8인용 수 14

한 줄 요약

이 논문은 그래픽 모델을 활용해 다양한 고재현율 세그멘테이션 제안을 생성하고, PASCAL 평균 교차율(Intersection-over-Union, IOU) 손실을 최적화하기 위해 특별히 설계된 새로운 CNN인 SegNet을 조합한 이중 모듈 프레임워크를 제안한다. SegNet은 굵은 의미적 세그멘테이션을 생성하며, 이를 네트워크가 재순서하여 최종 예측을 도출한다. 이로써 PASCAL VOC 2012 테스트 세트에서 52.5%의 IOU를 달성하였으며, 이는 구조적 손실 최적화를 위해 전용으로 설계된 첫 번째 CNN이라는 점에서 핵심 기여로 평가된다.

ABSTRACT

We present a two-module approach to semantic segmentation that incorporates Convolutional Networks (CNNs) and Graphical Models. Graphical models are used to generate a small (5-30) set of diverse segmentations proposals, such that this set has high recall. Since the number of required proposals is so low, we can extract fairly complex features to rank them. Our complex feature of choice is a novel CNN called SegNet, which directly outputs a (coarse) semantic segmentation. Importantly, SegNet is specifically trained to optimize the corpus-level PASCAL IOU loss function. To the best of our knowledge, this is the first CNN specifically designed for semantic segmentation. This two-module approach achieves $52.5\%$ on the PASCAL 2012 segmentation challenge.

연구 동기 및 목표

• 의미적 세그멘테이션과 같은 구조적 예측 작업에 깊이 있는 CNN을 일반화하는 데 도전하는 것, 여기서 출력 공간의 구조가 핵심적임.
• 밀도 높은 픽셀 수준의 애너테이션 자료가 제한되어 있음을 고려해 ImageNet 사전 훈련된 특징과 작업에 특화된 미세조정을 활용하는 것.
• 구조적 출력 추론을 위한 그래픽 모델과 깊은 신경망을 통합하여 풍부한 특징 추출을 가능하게 하며, 맥락과 국소화 사이의 트레이드오프를 피하는 것.
• 표준 교차엔트로피가 아닌 코퍼스 수준의 구조적 손실 함수를 사용해 의미적 세그멘테이션 전용으로 훈련된 CNN 아키텍처를 개발하는 것.

제안 방법

• 그래픽 모델(CRFs)이 이미지당 5~30개의 다양한 고재현율 세그멘테이션 제안을 생성하여 구조적 의존성을 포착한다.
• 코퍼스 수준의 PASCAL IOU 손실 함수를 사용해 종합적인 의미적 세그멘테이션을 출력하도록 엔드 투 엔드로 훈련된 새로운 CNN인 SegNet을 개발한다.
• 저수준 특징을 위해 ImageNet 사전 훈련된 가중치(이전에 AlexNet에서 유도됨)로 SegNet을 초기화하고, 이후 레이어는 PASCAL 세그멘테이션 데이터로 미세조정한다.
• SegNet에서 추출한 특징을 사용해 제안들을 재순서함으로써 해상도 손실 없이 통합적인 이미지 추론이 가능해진다.
• 재순서된 제안들 중에서 최종 세그멘테이션을 선택함으로써 깊은 특징과 구조적 모델링을 융합한다.
• 수렴성과 성능 향상을 위해 IOU와 교차엔트로피를 조합한 하이브리드 손실 함수를 훈련 중에 사용한다.

실험 결과

연구 질문

• RQ1 의미적 세그멘테이션에서 표준 교차엔트로피가 아닌 구조적 평가 지표인 IOU를 최적화하기 위해 CNN을 효과적으로 훈련시킬 수 있는가?
• RQ2 제안 생성을 위한 그래픽 모델과 재순서를 위한 깊은 CNN을 조합함으로써 세그멘테이션 성능이 어떻게 향상되는가?
• RQ3 세그멘테이션 전용 CNN에서 학습된 특징이 일반 분류 특징이나 수작업 특징보다 얼마나 뛰어나게 성능을 냈는가?
• RQ4 제안 생성 후 재순서 단계로 구성된 이중 단계 파이프라인은 밀도 높은 예측 작업에서 제한된 훈련 데이터를 더 효과적으로 활용할 수 있는가?

주요 결과

• 제안된 방법은 PASCAL VOC 2012 테스트 세트에서 52.5%의 평균 IOU를 달성하여 당시 많은 기존 방법들을 능가하였다.
• 코퍼스 수준의 IOU 손실 함수를 사용해 SegNet을 훈련한 결과, 단독으로 교차엔트로피를 사용한 훈련보다 유의미하게 성능 향상을 보였으며, 이는 작업에 특화된 손실 최적화의 중요성을 입증한다.
• IOU와 교차엔트로피 손실의 선형 조합(0.7:0.3)을 사용한 결과 성능 향상이 추가로 발생하여 상호보완적인 이점이 있음을 시사한다.
• SegNet 특징만으로도 49.0%의 IOU를 달성하여 분류 기반 특징(47.8%)과 수작업 특징(48.1%)을 모두 초월했으며, 이는 세그멘테이션 표현에서의 우수성을 보여준다.
• SegNet 특징과 [26]의 특징, 분류 기반 특징을 융합한 결과 성능은 53%까지 상승하여, SegNet 특징이 강력하고 상호보완적임을 확인한다.
• 아블레이션 스터디를 통해, 전통적인 CNN 특징이나 수작업 특징과 비교해도 SegNet 특징는 고립된 상태에서도 더 효과적임을 확인하였다.