[논문 리뷰] Boundary-sensitive Network for Portrait Segmentation

Xianzhi Du, Larry S. Davis외 6명|arXiv (Cornell University)|2017. 12. 22.

Advanced Neural Network Applications참고 문헌 22인용 수 5

한 줄 요약

이 논문은 경계 정밀도를 향상시키기 위해 세 가지 핵심 기여를 하는 경계 민감 네트워크(Boundary-Sensitive Network, BSN)를 제안한다: 개별 및 전역 경계 민감 커널, 소프트 레이블링, 그리고 공동 경계 속성 분류기. BSN은 최신 기술 수준의 성능을 달성하여 PFCN 데이터셋에서 평균 IoU 96.7%를 기록했고, COCO, COCO-Stuff, PASCAL VOC 포트레이트 벤치마크에서 이전 방법들을 크게 앞서며 뛰어난 성능을 보였다.

ABSTRACT

Compared to the general semantic segmentation problem, portrait segmentation has higher precision requirement on boundary area. However, this problem has not been well studied in previous works. In this paper, we propose a boundary-sensitive deep neural network (BSN) for portrait segmentation. BSN introduces three novel techniques. First, an individual boundary-sensitive kernel is proposed by dilating the contour line and assigning the boundary pixels with multi-class labels. Second, a global boundary-sensitive kernel is employed as a position sensitive prior to further constrain the overall shape of the segmentation map. Third, we train a boundary-sensitive attribute classifier jointly with the segmentation network to reinforce the network with semantic boundary shape information. We have evaluated BSN on the current largest public portrait segmentation dataset, i.e, the PFCN dataset, as well as the portrait images collected from other three popular image segmentation datasets: COCO, COCO-Stuff, and PASCAL VOC. Our method achieves the superior quantitative and qualitative performance over state-of-the-arts on all the datasets, especially on the boundary area.

연구 동기 및 목표

• 일般적 세그멘테이션 방법에서 자주 간과되는 고정밀 경계 세그멘테이션 문제를 해결하기 위해.
• 배경 교체 및 AR와 같은 응용 분야에서 중요한 머리카락, 액세서리, 귀와 같은 세밀한 디테일의 경계 정확도를 향상시키기 위해.
• 세분화된 포트레이트 데이터셋에 대해 피紐스팅 없이도 잘 일반화되는 방법을 개발하기 위해, 특히 제약이 없는 실생활 이미지를 포함한 다양한 데이터셋에서.
• 학습 과정에 경계 인식 감독 및 형태 사전 지식을 통합하여 모델의 강건성과 정렬 정밀도를 향상시키기 위해.

제안 방법

• 전경 윤곽을 확장하고 경계 픽셀에 세 번째 클래스로 소프트 레이블을 할당하여 개별 경계 민감 커널을 도입함으로써 이미지별 경계 감독을 가능하게 한다.
• 전역 경계 민감 커널을 위치 민감한 사전으로 활용하여 각 공간 위치가 경계에 있을 확률을 인코딩함으로써 전체 세그멘테이션 형태를 안내한다.
• 세그멘테이션 네트워크와 공동으로 경계 속성 분류기를 훈련시켜 의미론적 형태 정보를 주입하고 경계 표현 학습을 향상시킨다.
• 경계 픽셀에 전경, 배경, 경계의 다중 클래스 레이블을 할당하는 소프트 레이블링 전략을 사용하여 불확실성과 에지의 연속성을 더 잘 포착한다.
• 고해상도 특징 맵을 유지하고 경계 예측에 필수적인 공간적 디테일을 보존하기 위해 확장 컨볼루션을 적용한다.
• 경계를 10 픽셀로 확장하여 세그멘테이션 출력에서 트림랩을 생성함으로써 이미지 매트팅 파이프라인에 직접 사용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 소프트 레이블링을 통한 명시적 경계 감독이 도전적인 포트레이트 경계에서의 세그멘테이션 정확도를 향상시킬 수 있는가?
• RQ2 형태 사전으로서의 전역 경계 민감 커널을 통합함으로써 포트레이트 세그멘테이션의 전반적인 일관성과 정확도가 향상되는가?
• RQ3 경계 속성 분류기와의 공동 훈련을 통해 네트워크가 세밀한 경계 구조를 인식하고 예측하는 능력이 향상되는가?
• RQ4 제안된 방법이 도메인 특화 피뉴스팅 없이 다양한 실생활 포트레이트 데이터셋에 잘 일반화되는가?
• RQ5 세그멘테이션 출력이 이미지 매트팅 응용 분야에서 고품질 트림랩 생성에 얼마나 잘 활용될 수 있는가?

주요 결과

• BSN은 PFCN 데이터셋에서 평균 IoU 96.7%를 달성하여 이전 최신 기술 수준의 방법들을 크게 앞서며 뛰어난 성능을 보였다.
• COCO 포트레이트 데이터셋에서 BSN은 77.7%의 평균 IoU를 기록했으며, 피뉴스팅 없이도 PortraitFCN+를 크게 앞서는 성능을 보였다.
• COCO-Stuff 포트레이트에서 BSN은 72.0%의 평균 IoU를 기록하여 다양한 복잡한 환경에서도 강력한 일반화 능력을 입증했다.
• PASCAL VOC 포트레이트에서 BSN은 75.6%의 평균 IoU를 기록하여 제약이 없는 실생활 데이터와 자원이 제한된 데이터에서도 뛰어난 강건성을 입증했다.
• 시각적 비교 결과, BSN은 DeepLabv2와 PortraitFCN+에 비해 머리카락, 귀, 액세서리의 경계가 더 매끄럽고 정확한 결과를 도출했다.
• Figure 8의 정성적 결과를 통해 BSN 출력에서 생성된 트림랩은 후속 이미지 매트팅 작업에 적합함을 검증했다.