[논문 리뷰] A Survey of Semantic Segmentation

Martin Thoma|arXiv (Cornell University)|2016. 02. 21.

Advanced Image and Video Retrieval Techniques참고 문헌 84인용 수 66

한 줄 요약

이 종합 검토는 분류 유형, 입력 데이터, 운영 방식, 클래스 소속성으로 분류된 의미적 세그멘테이션 기법에 대한 포괄적인 개요를 제공한다. 결정 숲과 SVM과 같은 전통적 방법을 검토하고, CNN 기반의 현대 딥러닝 접근법을 평가하며, 렌즈 플레어, 빈티게이팅, 가림 등 공통적인 실패 케이스를 규명하여 컴퓨터 비전 및 의료 영상 분야의 연구자들에게 기초 자료를 제공한다.

ABSTRACT

This survey gives an overview over different techniques used for pixel-level semantic segmentation. Metrics and datasets for the evaluation of segmentation algorithms and traditional approaches for segmentation such as unsupervised methods, Decision Forests and SVMs are described and pointers to the relevant papers are given. Recently published approaches with convolutional neural networks are mentioned and typical problematic situations for segmentation algorithms are examined. A taxonomy of segmentation algorithms is given.

연구 동기 및 목표

• 분류, 입력 데이터, 운영 상태, 클래스 소속성 기반으로 의미적 세그멘테이션 알고리즘의 체계적 분류 체계를 제공하기 위해.
• 비지도 학습 방법, 결정 숲, SVM과 같은 전통적 의미적 세그멘테이션 기법을 검토하고 비교하기 위해.
• 합성곱 신경망(CNN)을 활용한 딥러닝 기반 의미적 세그멘테이션의 최근 발전을 요약하기 위해.
• 렌즈 플레어, 빈티게이팅, 흐림, 가림과 같은 공통적인 실패 케이스를 식별하고 분석하기 위해.
• 데이터셋 편향, 모델의 강인성, 앙상블 방법 등 열려 있는 과제를 부각시켜 향후 연구를 이끌기 위해.

제안 방법

• 허용되는 클래스(고정 대 비고정), 클래스 소속성(단일 대 다중), 입력 데이터(grayscale, color, depth, 스테레오, 2D/3D), 운영 상태(주동적 대 수동적)의 네 가지 차원에 따라 세그멘테이션 알고리즘을 분류한다.
• 정확도, 교차율(Intersection-over-Union, IoU), 픽셀 단위 분류 성능 등의 평가 지표를 검토한다.
• 비지도 군집화, SVM, 결정 숲과 같은 전통적 접근법을 요약하며, 초기 의미적 세그멘테이션에서의 기여를 강조한다.
• 모던한 CNN 기반 방법을 분석하며, AlexNet을 특징 추출기로 사용하는 것, 완전 합성곱 네트워크(FCNs), [DHS15]에서 제시된 깊이 있는 아키텍처 등을 포함한다.
• 예측을 조합하여 정확도를 향상시키기 위해 CRF와 앙상블 방법의 적용을 분석한다.
• 실세계 이미지 예시를 공개 데이터셋(KITTI, MSRCv2 등)에서 가져와, 렌즈 플레어, 빈티게이팅, 투명성과 같은 문제적 케이스를 시각화한다.

실험 결과

연구 질문

• RQ1 의미적 세그멘테이션 알고리즘은 설계 및 운영 특성에 기반해 어떻게 체계적으로 분류될 수 있는가?
• RQ2 SVM과 결정 숲과 같은 전통적 기계학습 방법이 의미적 세그멘테이션에서 가지는 강점과 한계는 무엇인가?
• RQ3 최근의 딥러닝 기반 CNN은 전통적 방법에 비해 의미적 세그멘테이션 성능을 어떻게 향상시키는가?
• RQ4 의미적 세그멘테이션 알고리즘을 도전적으로 만드는 가장 흔한 실세계 이미지 아티팩트는 무엇이며, 성능에 어떤 영향을 미치는가?
• RQ5 부분적 가림, 난처한 침투, 시점 변화와 같은 실패 케이스가 훈련된 모델의 강인성에 얼마나 큰 영향을 미치는가?

주요 결과

• 의미적 세그멘테이션은 고정 클래스, 단일 소속 모델에서 출현하는 다중 클래스, 다중 소속, 빈도 클래스를 포함한 개방형 어휘 접근법으로 진화하였다.
• 결정 숲과 SVM과 같은 전통적 방법은 특히 설명 가능성과 제한된 애너테이션을 우선시하는 응용 분야에서 여전히 관련성이 있다.
• 딥러닝 기반 CNN, 특히 완전 합성곱 네트워크와 더 깊은 아키텍처는 표준 벤치마크에서 전통적 방법을 크게 능가한다.
• 렌즈 플레어, 빈티게이팅, 흐림, 반투명 물체와 같은 실패 케이스는 흔하며, 표준 데이터셋에서 잘 작동하는 모델일지라도 잘못 분류를 유도하는 경향이 있다.
• 시점 다양성과 부분적 가림은 훈련 데이터에 시점이나 물체 구성의 다양성이 부족할 경우 특히 문제적이다.
• 앙상블 방법과 CRF 후처리는 국소적인 일관성 문제와 에지 아티팩트를 다룰 때 특히 정확도 향상에 기여한다.