[논문 리뷰] Iterative Instance Segmentation

Ke Li, Bharath Hariharan외 1명|arXiv (Cornell University)|2015. 11. 26.

Advanced Neural Network Applications참고 문헌 31인용 수 18

한 줄 요약

이 논문은 데이터로부터 형태, 연결성, 윤곽의 매끄러움 정도 등의 사전 지식을 명시적인 구조적 제약 없이 암묵적으로 학습하는 반복적 딥러닝 프레임워크를 제안한다. 여러 단계에서 예측을 개선함으로써, 이 방법은 PASCAL VOC 2012에서 50% 겹침 비율일 때 63.6%의 평균 AP^r, 70% 겹침 비율일 때 43.3%의 평균 AP^r을 달성하여 최신 기술 수준을 초월한다.

ABSTRACT

Existing methods for pixel-wise labelling tasks generally disregard the underlying structure of labellings, often leading to predictions that are visually implausible. While incorporating structure into the model should improve prediction quality, doing so is challenging - manually specifying the form of structural constraints may be impractical and inference often becomes intractable even if structural constraints are given. We sidestep this problem by reducing structured prediction to a sequence of unconstrained prediction problems and demonstrate that this approach is capable of automatically discovering priors on shape, contiguity of region predictions and smoothness of region contours from data without any a priori specification. On the instance segmentation task, this method outperforms the state-of-the-art, achieving a mean $\mathrm{AP}^{r}$ of 63.6% at 50% overlap and 43.3% at 70% overlap.

연구 동기 및 목표

• 기존의 픽셀 단위 레이블링 방법이 구조적 제약을 忽시하여, 비현실적인 예측을 초래하는 한계를 해결하기 위해.
• 수동으로 구조적 형태를 지정하지 않고도 데이터로부터 형태 사전 지식, 영역의 연결성, 윤곽의 매끄러움 정도를 자동으로 탐지하기 위해.
• 예측의 반복적 개선을 통해 암묵적인 구조적 사전 지식을 학습하여 인스턴스 세분화 정확도를 향상시키기 위해.
• 반복적 예측이 고차원의 잠재적 특성(예: 형태)을 명시적인 고차원 잠재 변수 모델링 없이 암묵적으로 학습할 수 있음을 보여주기 위해.
• 카테고리 기반 맥락을 바탕으로 모호한 입력에서도 신뢰할 수 있는 객체 형태를 유추할 수 있는지 검증하기 위해.

제안 방법

• 이 방법은 각 단계에서 이전 단계의 오류를 수정함으로써, 구조적 제약이 없는 예측 단계의 시퀀스로 인스턴스 세분화를 분해한다.
• 딥 뉴럴 네트워크(하이퍼컬럼 네트워크)를 사용하여 객체 제안 영역에 대한 초도 세분화 예측을 생성한다.
• 반복적 개선은 현재 예측과 입력 이미지를 네트워크에 다시 입력하여 다음 단계에서 향상된 예측을 생성함으로써 수행된다.
• 네트워크는 개선된 예측과 진짜 마스크 간의 차이를 최소화하도록 엔드 투 엔드로 훈련된다.
• 반복 과정을 통해 오류 수정을 다수 단계에 걸쳐 수행함으로써, 형태, 연결성, 매끄러움 정도 등의 구조적 사전 지식이 암묵적으로 학습된다.
• 표준 인스턴스 세분화 평가 지표(50% 및 70% IoU 임계값에서의 AP^r 포함)를 사용하여 PASCAL VOC 2012에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 반복적 예측이 암묵적인 구조적 사전 지식(예: 형태, 윤곽의 매끄러움 정도)을 제약 조건을 명시적으로 모델링하지 않고도 학습할 수 있는가?
• RQ2 반복적 개선이 기존의 단일 단계 예측 방법을 초월하여 인스턴스 세분화 성능을 향상시키는가?
• RQ3 카테고리 레이블을 바탕으로, 시각적 특징이 없는 모호한 이미지 패치에서도 신뢰할 수 있는 객체 형태를 생성할 수 있는가?
• RQ4 이미 정확한 검출 결과에 대해 이 방법이 어느 정도 향상시키는가?
• RQ5 특히 다수의 인스턴스가 혼잡하게 존재하는 장면에서, 객체의 위치 및 외형 변화에 대해 이 방법은 얼마나 강인한가?

주요 결과

• 이 방법은 PASCAL VOC 2012 검증 세트에서 50% IoU 겹침 비율일 때 평균 AP^r이 63.6%, 70%일 때 43.3%를 기록하여 최신 기술 수준을 초월한다.
• 기본 하이퍼컬럼 네트워크가 이미 약 75% 겹침 비율을 달성하는 검출 결과에 대해서도, 제안된 방법이 많은 경우에서 겹침 비율을 90% 이상으로 향상시켰다. 이는 강력한 개선 능력을 보여준다.
• 반복 방법을 사용할 경우 기존 기준 대비 겹침 비율이 향상된 검출이 전체의 76%에 달하며, 뿐만 아니라 뿌리의 15.6%만에서 성능 저하가 발생한다.
• 카테고리 레이블을 바탕으로, 시각적 특징이 없는 입력 패치에서도 새끼 날개, 말 다리, 자전거 프레임 등의 신뢰할 수 있는 객체 형태를 성공적으로 생성하였다.
• 반복 프레임워크를 통해 모델은 형태, 영역의 연결성, 윤곽의 매끄러움 정도 등의 사전 지식을 명시적인 감독 없이도 자동으로 학습하고 적용할 수 있었다.
• 오류 수정 과정을 반복적으로 수행함으로써, 고차원의 구조적 제약 조건이 암묵적으로 포착되며, 이는 더 시각적으로 타당하고 정확한 인스턴스 세분화를 이끌어낸다.