[논문 리뷰] Boundary-Aware Network for Fast and High-Accuracy Portrait Segmentation

Xi Chen, Donglian Qi외 1명|arXiv (Cornell University)|2019. 01. 12.

Advanced Neural Network Applications참고 문헌 25인용 수 18

한 줄 요약

이 논문은 경계 주의 메커니즘과 새로운 리파인 손실 함수를 사용하여 경계 세부 정보 추출을 향상시키는 경량 실시간 포트레이트 세그멘테이션 모델인 경계 인식 네트워크(BANet)를 제안한다. BANet는 512×512 이미지에서 43 FPS를 달성하며, 인간 레이블 마스크를 초월하는 더 세밀한 세그멘테이션 결과를 생성한다. 파라미터 수가 극히 적어(0.62 MB)도 이전 방법들보다 세부 정보 품질에서 뛰어나다.

ABSTRACT

Compared with other semantic segmentation tasks, portrait segmentation requires both higher precision and faster inference speed. However, this problem has not been well studied in previous works. In this paper, we propose a lightweight network architecture, called Boundary-Aware Network (BANet) which selectively extracts detail information in boundary area to make high-quality segmentation output with real-time( >25FPS) speed. In addition, we design a new loss function called refine loss which supervises the network with image level gradient information. Our model is able to produce finer segmentation results which has richer details than annotations.

연구 동기 및 목표

• 모발 및 옷자락 경계와 같은 세부 정보를 유지하는 실시간 고정확도 포트레이트 세그멘테이션 모델의 부족을 해결한다.
• 저해상도 인간 레이블과 전통적인 의미 세그멘테이션 모델이 특징 맵을 다운샘플링함으로써 세부 정보를 손실하는 한계를 극복한다.
• 경계 충실도를 유지하면서도 모바일 배포에 적합한 경량 네트워크 아키텍처를 설계한다.
• 이미지 기반 기울기 정보를 활용해 인간 레이블의 해상도를 초월하는 세부 정보 품질을 향상시키는 새로운 학습 전략을 도입한다.

제안 방법

• 경계 주의 맵에 의해 이끌리는 고수준 의미 브랜치와 저수준 특징 탐색 브랜치로 구성된 이중 브랜치 네트워크 아키텍처를 제안한다.
• 고수준 특징을 활용해 저수준 세부 정보를 주의 집중시키는 경계 주의 메커니즘을 설계한다.
• 이미지 수준 기울기 정보를 사용해 경계 리파인을 감독하는 리파인 손실 함수를 도입하여, 모델이 레이블보다 더 세밀한 세부 정보를 학습할 수 있도록 한다.
• 깊이 분리형 컨볼루션과 채널 감소를 통해 효율성을 최적화하여 총 파라미터 수를 0.62 MB로 줄였다.
• 다양한 입력 해상도에서 성능을 유지하기 위해 다중 해상도 학습 및 추론 전략을 사용한다.
• 고품질 레이블을 갖춘 Supervise.ly 데이터셋에서 엔드 투 엔드로 모델을 학습시켰으며, 이를 강력한 기준으로 활용하였다.

실험 결과

연구 질문

• RQ1 경량 세그멘테이션 네트워크가 실시간 추론 속도(≥25 FPS)를 확보하면서도 인간 레이블 마스크를 초월하는 더 높은 수준의 경계 품질을 달성할 수 있는가?
• RQ2 경계 주의 메커니즘이 모델 복잡도를 증가시키지 않고도 객체 경계에서 특징 추출을 선택적으로 향상시키는 데 얼마나 효과적인가?
• RQ3 이미지 기반 기울기 기반 리파인 손실 함수가 지표 레이블의 해상도를 초월해 세부 정보 품질을 얼마나 향상시킬 수 있는가?
• RQ4 제한된 데이터(1,400장의 이미지)로 학습된 모델이 모바일 배포에 적합할 정도로 일반화 능력을 갖추고 있으며, 더 큰 모델들보다 경계 충실도에서 뛰어난 성능을 보일 수 있는가?
• RQ5 경계 주의 메커니즘과 리파인 손실의 조합이 표준 손실 함수 대비 mIoU 및 시각적 세부 정보 품질 측면에서 어떻게 비교되는가?

주요 결과

• BANet-64는 512×512 이미지에서 총 파라미터 수가 0.62 MB에 불과함에도 불구하고, PFCN+(134.27 MB)와 U-Net(13.40 MB)에 비해 모델 효율성에서 뚜렷한 승리를 거두었다.
• PFCN+(95.92%)에 비해 약간 낮은 mIoU(95.80%)를 기록했지만, BANet-64는 KNN 레이블 마스크를 초월하는 더 세밀한 경계를 생성하여 뛰어난 세부 정보 품질을 입증했다.
• 제거 실험 결과 경계 주의 메커니즘이 mIoU를 0.3% 향상시키고 리파인 손실이 0.6% 향상시키며, 시각적 결과에서 경계 선명도 향상이 뚜렷하게 관찰되었다.
• BANet-512는 12.75 MB 파라미터로 96.13%의 mIoU를 달성했으며, 정확도 측면에서 다른 모델들을 압도했고, 29 FPS의 실시간 추론 속도도 유지했다.
• 모델이 레이블보다 더 세밀한 결과를 생성할 수 있었던 것은 리파인 손실이 레이블 품질을 초월해 세부 정보를 효과적으로 학습했음을 시사한다.
• 모바일 배포 상황에서 BANet-64는 소형 크기와 고속 성능 덕분에 배경 교체 및 이미지 미화와 같은 실시간 응용에 적합하다.