[논문 리뷰] A High-Efficiency Framework for Constructing Large-Scale Face Parsing Benchmark

Yinglu Liu, Hailin Shi외 4명|arXiv (Cornell University)|2019. 05. 13.

Face recognition and analysis참고 문헌 45인용 수 10

한 줄 요약

이 논문은 조밀한 106점 얼굴 랜드마크를 이용해 픽셀 수준의 의미적 주석을 안내하는 고효율 프레임워크를 제안한다. 이 방법은 22,000개의 다양한 얼굴 이미지를 11개의 의미 카테고리로 신속하고 정확하게 레이블링할 수 있게 하여, 현재까지 가장 큰 공개된 얼굴 파싱 벤치마크인 LaPa 데이터셋을 구축한다. 새로운 경계 감응 파싱 네트워크(BSPNet)는 LaPa와 Helen 양쪽에서 최신 기술 수준의 성능을 달성하며, 특히 미세한 얼굴 부위에서 뛰어난 성능을 보인다.

ABSTRACT

Face parsing, which is to assign a semantic label to each pixel in face images, has recently attracted increasing interest due to its huge application potentials. Although many face related fields (e.g., face recognition and face detection) have been well studied for many years, the existing datasets for face parsing are still severely limited in terms of the scale and quality, e.g., the widely used Helen dataset only contains 2,330 images. This is mainly because pixel-level annotation is a high cost and time-consuming work, especially for the facial parts without clear boundaries. The lack of accurate annotated datasets becomes a major obstacle in the progress of face parsing task. It is a feasible way to utilize dense facial landmarks to guide the parsing annotation. However, annotating dense landmarks on human face encounters the same issues as the parsing annotation. To overcome the above problems, in this paper, we develop a high-efficiency framework for face parsing annotation, which considerably simplifies and speeds up the parsing annotation by two consecutive modules. Benefit from the proposed framework, we construct a new Dense Landmark Guided Face Parsing (LaPa) benchmark. It consists of 22,000 face images with large variations in expression, pose, occlusion, etc. Each image is provided with accurate annotation of a 11-category pixel-level label map along with coordinates of 106-point landmarks. To the best of our knowledge, it is currently the largest public dataset for face parsing. To make full use of our LaPa dataset with abundant face shape and boundary priors, we propose a simple yet effective Boundary-Sensitive Parsing Network (BSPNet). Our network is taken as a baseline model on the proposed LaPa dataset, and meanwhile, it achieves the state-of-the-art performance on the Helen dataset without resorting to extra face alignment.

연구 동기 및 목표

• 픽셀 수준 주석의 높은 비용으로 인해 대규모 고품질 얼굴 파싱 데이터셋이 부족한 문제를 해결한다.
• 조밀한 얼굴 랜드마크를 사전 지식으로 활용하여 의미 주석의 효율을 높여 주석 처리의 병목 현상을 해결한다.
• 인간의 작업 부담을 줄이면서도 높은 주석 품질을 유지하는 확장 가능한 반자동 주석 파이프라인을 개발한다.
• 22,000개의 다양한 얼굴 이미지와 상세한 11개 카테고리 의미 레이블 맵을 갖춘 새로운 벤치마크인 LaPa를 구축한다.
• 소형 및 경계 민감한 얼굴 부위에 특히 유리한 경계 감응 파싱 네트워크(BSPNet)를 제안한다.

제안 방법

• 두 모듈로 구성된 주석 프레임워크를 설계한다: 첫 번째로, 보조 랜드마크 모델을 활용해 조잡한 초기 106점 랜드마크를 제공하는 반자동 도구를 도입하여 주석자 작업 부담을 줄인다.
• 두 번째로, 106점 랜드마크를 기반으로 각 얼굴 부위의 정확한 윤곽을 그릴 수 있도록 카테고리별 맞춤형 피팅 전략을 적용하며, 머리카락과 피부에 대해 굵기에서 세밀함으로의 점진적 분할 접근법을 사용한다.
• 계층적 출력을 융합하여 고정밀도의 11개 카테고리 픽셀 수준 의미 레이블 맵을 생성한다.
• 경계 인식 특징을 의미 특징에 통합하여 경계 표현을 향상시키는 세분화 네트워크인 BSPNet을 도입한다.
• 경계 픽셀에서의 학습을 명시적으로 강화하기 위해 경계 가중 손실 함수를 적용하여 정위치 정확도를 향상시킨다.
• LaPa 데이터셋을 사용해 학습하고, LaPa 및 Helen 양쪽에서 평가하며, LaPa에서의 미세조정을 통한 전이 학습도 실시한다.

실험 결과

연구 질문

• RQ1 조밀한 얼굴 랜드마크를 기반으로 한 반자동 주석 파이프라인은 픽셀 수준의 얼굴 파싱 주석의 시간과 비용을 크게 줄일 수 있는가?
• RQ2 자세, 표정, 가림 등의 다양성이 충분히 확보된 대규모 고품질 얼굴 파싱 벤치마크를 구축할 수 있는가?
• RQ3 새로운 LaPa 벤치마크에서 학습한 딥 러닝 모델이 추가 정렬 없이도 기존 벤치마크인 Helen에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 명시적인 경계 감시가 소형 얼굴 부위에 특히 정확도 향상에 얼마나 기여하는가?
• RQ5 LaPa에서 미리 학습한 모델이 더 작은 벤치마크인 Helen에서 성능 향상을 이룰 수 있는가? 이는 데이터셋의 실용성을 입증한다.

주요 결과

• 제안된 주석 프레임워크는 22,000장의 얼굴 이미지, 11개 카테고리 의미 레이블, 106점 랜드마크를 포함한 LaPa 벤치마크를 구축할 수 있게 하였다. 이는 기존 공개 데이터셋보다 10배 이상 크다.
• 경계 감응 파싱 네트워크(BSPNet)는 Helen 데이터셋에서 전체 평균 IoU 91.0%를 달성하여 이전 최신 기술 수준의 방법들(2013년 Smith 등, 2015년 Liu 등, 2017년 Liu 등, 2018년 Guo 등)을 각각 10.6%, 5.1%, 2.4%, 0.5% 초월하였다.
• 상하 입술, 내부 입술 등의 미세한 카테고리에서 BSPNet은 Guo 등(2018)에 비해 각각 2.2%, 2.5%, 3.8%의 정확도 향상을 보였으며, 이는 더 나은 경계 처리 능력을 의미한다.
• LaPa에서 미리 학습한 BSPNet을 Helen에서 미세조정하면 전체 점수는 91.4%로 상승하여 LaPa 데이터셋의 일반화 능력과 표현력이 뛰어남을 입증한다.
• 소형 카테고리에서의 성능 향상도 뚜렷하다: 왼쪽 눈썹 +2.55%, 오른쪽 눈썹 +2.66%, 왼쪽 눈 +3.36%, 오른쪽 눈 +3.48%, 상하 입술은 각각 +2.35%와 +1.86% 향상되었다.
• 시각화 결과는 BSPNet이 특히 미세한 디테일이 많은 복잡한 얼굴 구조에서 더 날카롭고 정확한 경계를 생성함을 확인한다.