[논문 리뷰] Convolutional Oriented Boundaries: From Image Segmentation to High-Level Tasks

Kevis-Kokitsi Maninis, Jordi Pont-Tuset외 2명|arXiv (Cornell University)|2017. 01. 17.

Advanced Neural Network Applications참고 문헌 48인용 수 4

한 줄 요약

이 논문은 사전 훈련된 CNN의 단일 순방향 전파를 통해 다중 척도, 방향성 있는 윤곽선과 계층적 영역 분할을 생성하는 계산적으로 효율적인 방법인 컨볼루션 방향 경계(Convoluational Oriented Boundaries, COB)를 제안한다. COB는 새로운 희박한 경계 표현 방식을 통해 윤곽 강도와 방향성을 동시에 예측함으로써 PASCAL 및 MS-COCO를 포함한 여러 벤치마크에서 윤곽 검출, 의미적 세그멘테이션, 객체 제안 생성 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We present Convolutional Oriented Boundaries (COB), which produces multiscale oriented contours and region hierarchies starting from generic image classification Convolutional Neural Networks (CNNs). COB is computationally efficient, because it requires a single CNN forward pass for multi-scale contour detection and it uses a novel sparse boundary representation for hierarchical segmentation; it gives a significant leap in performance over the state-of-the-art, and it generalizes very well to unseen categories and datasets. Particularly, we show that learning to estimate not only contour strength but also orientation provides more accurate results. We perform extensive experiments for low-level applications on BSDS, PASCAL Context, PASCAL Segmentation, and NYUD to evaluate boundary detection performance, showing that COB provides state-of-the-art contours and region hierarchies in all datasets. We also evaluate COB on high-level tasks when coupled with multiple pipelines for object proposals, semantic contours, semantic segmentation, and object detection on MS-COCO, SBD, and PASCAL; showing that COB also improves the results for all tasks.

연구 동기 및 목표

• 사전 훈련된 CNN을 저수준 및 고수준 시각 작업을 위한 고품질의 윤곽선 및 영역 검출기로 변환할 수 있는 일반적이고 효율적인 프레임워크를 개발하기 위해.
• 기존의 경계 검출 방법의 한계를 극복하기 위해 윤곽 강도와 방향성을 동시에 예측함으로써 정확도와 일반화 능력을 향상시키기 위해.
• 깊이 있는 CNN의 고수준 특징을 활용함으로써 전역적 윤곽 그룹화 단계(예: 스펙트럼 분할)의 계산 비용이 높은 과정이 필요 없도록 하기 위해.
• 다양한 데이터셋과 작업(예: 의미적 세그멘테이션, 객체 검출)에 적용함으로써 접근 방식의 모듈성과 이식 가능성(transferability)을 입증하기 위해.
• 향후 기본 CNN 아키텍처의 발전을 통해 인지적 그룹화의 향상을 가능하게 하는 공개된, 재사용 가능한 프레임워크를 제공하기 위해.

제안 방법

• COB는 사전 훈련된 분류용 CNN(예: ResNet)을 단일 순방향 전파하여 다중 척도 특징 맵을 추출하여 윤곽 예측을 수행한다.
• 다중 척도에서 윤곽 강도와 방향성을 동시에 예측하는 사이드 브랜치를 도입함으로써 다중 척도, 방향성 있는 윤곽 검출을 가능하게 한다.
• 윤곽 신호를 효율적으로 인코딩하고, 초등적 경계 지도(Ultrametric Contour Maps, UCMs)를 통한 빠른 계층적 영역 그룹화를 가능하게 하는 새로운 희박한 경계 표현 방식을 제안한다.
• 조합적 그룹화 알고리즘을 사용하여 다중 척도의 UCM을 하나의 계층적 세그멘테이션 구조로 융합한다.
• COB의 출력은 객체 제안 생성, 의미적 세그멘테이션, 객체 검출 등의 후속 파ip라인과 호환되며, 재훈련 없이도 성능 향상을 이룬다.
• 프레임워크는 모듈식으로 설계되어 새로운 기본 CNN 아키텍처가 등장할 경우에도 원활하게 통합될 수 있도록 한다.

실험 결과

연구 질문

• RQ1 윤곽 강도만 예측하는 기존 방법과 비교해, 윤곽 강도와 방향성을 동시에 예측하는 것이 경계 검출 정확도를 크게 향상시키는가?
• RQ2 추가 후처리 없이 단일 CNN 순방향 전파로도 고품질의 다중 척도, 방향성 있는 윤곽선과 계층적 영역을 생성할 수 있는가?
• RQ3 고수준 특징이 가용할 경우, 스펙트럼 그래프 분할과 같은 전역적 윤곽 정규화 과정이 필요 없어지는가?
• RQ4 특히 객체 검출 및 의미적 세그멘테이션과 같은 고수준 시각 작업에서, COB는 새로운 카테고리나 데이터셋으로도 효과적으로 일반화되는가?
• RQ5 효율성과 세그멘테이션 품질 측면에서 COB의 희박한 경계 표현 방식은 밀도 높은 표현 방식보다 어떻게 비교되는가?

주요 결과

• COB는 BSDS500, PASCAL Context, PASCAL VOC, NYUD에서 윤곽 검출 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 이미지당 추론 시간이 0.8초이다.
• PASCAL VOC 2012에서 COB의 객체 제안은 재훈련 없이도 Fast-RCNN 객체 검출의 mAP를 1.5%p 향상시켜 76.7%에서 78.2%로 상승시켰다.
• 의미적 세그멘테이션 작업에서 COB의 슈퍼픽셀은 특히 거짓 양성(false positives)을 줄이고 가장자리 영역을 정밀하게 보정함으로써 경계 정확도를 향상시켰으며, VOC 및 PASCAL 데이터셋에서의 정성적 결과로 확인되었다.
• MS-COCO로의 일반화에서도 COB는 재훈련 없이도 경쟁적인 객체 제안을 생성함으로써 강력한 제로샷 이식성(transferability)을 입증했다.
• 스펙트럼 그래프 분할과 같은 전역화 단계가 필요 없어지면서 계산 비용이 감소했고, 성능은 유지되거나 향상되었다.
• COB는 의미적 경계 검출 분야에서 새로운 최신 기술 수준을 달성하였으며, VOC 2007에서 mAP 76.0을 기록하여 이전 방법들을 초월했다.