[논문 리뷰] Object Detection Free Instance Segmentation With Labeling Transformations

Long Jin, Zeyu Chen외 1명|arXiv (Cornell University)|2016. 11. 28.

Advanced Neural Network Applications참고 문헌 29인용 수 15

한 줄 요약

이 논문은 객체 검출을 생략하고 세분화된 레이블 변환을 통해 세 가지 방법을 활용함으로써 검출이 없는 인스턴스 세분화 프레임워크를 제안한다: 픽셀 기반 유사도 매핑, 슈퍼픽셀 기반 유사도 학습, 경계 기반 컴포넌트 세분화. 완전 컨volution 신경망을 사용하여 객체 중심(PASCAL VOC 2012) 및 텍스처 중심(Gland) 데이터셋에서 최신 기술 수준의 성능을 달성하며, 객체 제안이나 바운딩 박스에 의존하지 않음에도 불구하고 일반화 능력, 투명성, 효율성이 뛰어나다.

ABSTRACT

Instance segmentation has attracted recent attention in computer vision and existing methods in this domain mostly have an object detection stage. In this paper, we study the intrinsic challenge of the instance segmentation problem, the presence of a quotient space (swapping the labels of different instances leads to the same result), and propose new methods that are object proposal- and object detection- free. We propose three alternative methods, namely pixel-based affinity mapping, superpixel-based affinity learning, and boundary-based component segmentation, all focusing on performing labeling transformations to cope with the quotient space problem. By adopting fully convolutional neural networks (FCN) like models, our framework attains competitive results on both the PASCAL dataset (object-centric) and the Gland dataset (texture-centric), which the existing methods are not able to do. Our work also has the advantages in its transparency, simplicity, and being all segmentation based.

연구 동기 및 목표

• 객체 검출에 의존하지 않고도, 몫 공간(즉, 순열된 인스턴스 ID)으로 인해 발생하는 레이블 불확실성 문제를 해결하는 데 초점을 맞춘다.
• 객체 제안 및 검출 단계의 복잡성과 제약을 피하는 세분화 전용 프레임워크를 개발한다.
• 비틀림이 심하고 유연한 물체를 포함한, 객체 중심 및 텍스처 중심 데이터셋 모두에서 효과적인 인스턴스 세분화를 가능하게 한다.
• 검출 헤드 구성 요소를 제거함으로써 모델의 투명성, 단순성, 계산 효율성을 향상시킨다.

제안 방법

• 검출이 없는 세 가지 방법을 제안한다: 픽셀 기반 유사도 매핑, 슈퍼픽셀 기반 유사도 학습, 경계 기반 컴포넌트 세분화를 통해 몫 공간 문제를 해결한다.
• 완전 컨volution 신경망(FCN)을 사용하여 각 픽셀 또는 슈퍼픽셀의 유사도를 예측함으로써, 밀도 예측을 위한 엔드 투 엔드 학습을 가능하게 한다.
• 레이블 변환을 적용하여 불확실한 인스턴스 레이블링 문제를 유사도 학습을 통해 학습 가능한 분류/회귀 과제로 변환한다.
• 세분화 결과에서 연결된 컴포넌트를 기본값으로 사용하고, 학습된 유사도를 활용해 인스턴스를 분리한다.
• 인스턴스 ID를 서로 바꿀 수 있도록 변환 전략을 도입하여, 모델이 영역 간 상대적 관계를 학습하도록 한다.
• 동일 인스턴스 내 픽셀 간 높은 유사도와 다른 인스턴스 간 낮은 유사도를 유도하는 손실 함수를 사용해 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 객체 검출 또는 제안 단계 없이도 경쟁력 있는 성능을 유지하면서 인스턴스 세분화를 달성할 수 있는가?
• RQ2 딥러닝을 활용해 인스턴스 레이블링의 본질적 불확실성(몫 공간)을 효과적으로 모델링할 수 있는가?
• RQ3 완전 컨볼루션 기반의 세분화 프레임워크가 객체 중심 및 텍스처 중심 데이터셋 모두에 일반화 가능한가?
• RQ4 픽셀 수준, 슈퍼픽셀 수준, 경계 기반 유사도 학습의 상대적 장점은 무엇인가?
• RQ5 매우 비틀림이 심한 물체를 포함한 데이터셋에서 제안된 방법이 최신 기술 기반의 검출 기반 접근법보다 우수한가?

주요 결과

• 제안된 방법은 MICCAI 2015 Gland Segmentation 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, Part A에서 F1 스코어 0.897, Object Dice 0.893을 기록하여 MNC 및 HyperColumn과 같은 검출 기반 방법을 초월하였다.
• PASCAL VOC 2012에서, 검출이 없는 것으로도 F1 스코어 0.897, Object Dice 0.893을 달성하여 MNC 및 Xu 등 [38]과 같은 검출 기반 모델과 동등하거나 이를 초월하였다.
• 경계 기반 컴포넌트 세분화(방법 3)는 Gland 데이터셋에서 가장 높은 성능을 기록하였으며, Object Hausdorff 스코어 106.978로 형태 유사도가 뛰어나다는 것을 보여주었다.
• 직사각형 바운딩 박스로는 포착할 수 없는 비유연하고 극도로 비틀린 샘플 기질의 형태를 효과적으로 처리할 수 있어, Gland 데이터셋에서 검출 기반 모델보다 뛰어난 성능을 보였다.
• 복잡한 검출 기반 모델에 비해 훨씬 단순하고 투명하며, 추론 속도가 빠르고 학습이 더 쉬운데도 불구하고 높은 정확도를 유지한다.
• 결과적으로, 객체 검출 없이도 완전 컨볼루션 기반의 유사도 기반 학습이 객체 중심 및 텍스처 중심 인스턴스 세분화 작업에 실현 가능하고 효과적임을 입증하였다.