[논문 리뷰] Face Parsing with RoI Tanh-Warping

Jinpeng Lin, Hao Yang외 4명|arXiv (Cornell University)|2019. 06. 04.

Face recognition and analysis참고 문헌 35인용 수 6

한 줄 요약

이 논문은 얼굴 파싱을 위한 새로운 RoI Tanh-warping 연산자와 하이브리드 CNN 아키텍처를 제안한다. 이는 눈, 눈썹, 코, 입과 같은 내부 얼굴 구성 요소와 모발 영역을 동시에 분할한다. 중심 시각(얼굴 부위에 집중)과 주변 시각(모발을 위한 맥락 제공)을 결합함으로써, 예측 불가능한 모발 영역에서의 분할 정확도를 향상시킨다. 전체적으로는 엔드 투 엔드 학습과 1장당 40ms의 효율적인 추론을 통해 HELEN 및 LFW-PL 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Face parsing computes pixel-wise label maps for different semantic components (e.g., hair, mouth, eyes) from face images. Existing face parsing literature have illustrated significant advantages by focusing on individual regions of interest (RoIs) for faces and facial components. However, the traditional crop-and-resize focusing mechanism ignores all contextual area outside the RoIs, and thus is not suitable when the component area is unpredictable, e.g. hair. Inspired by the physiological vision system of human, we propose a novel RoI Tanh-warping operator that combines the central vision and the peripheral vision together. It addresses the dilemma between a limited sized RoI for focusing and an unpredictable area of surrounding context for peripheral information. To this end, we propose a novel hybrid convolutional neural network for face parsing. It uses hierarchical local based method for inner facial components and global methods for outer facial components. The whole framework is simple and principled, and can be trained end-to-end. To facilitate future research of face parsing, we also manually relabel the training data of the HELEN dataset and will make it public. Experiments on both HELEN and LFW-PL benchmarks demonstrate that our method surpasses state-of-the-art methods.

연구 동기 및 목표

• 기존의 자르기 및 크기 조정 방식이 주변 맥락을 상실하기 때문에, 얼굴 파싱에서 내부 얼굴 구성 요소와 모발을 정확하게 분할하는 데 어려움이 존재하는 문제를 해결하기 위해.
• 고정 크기의 RoI 자르기 방식이 얼굴을 초월해 확장되는 예측 불가능한 모발 영역을 포착할 수 없는 한계를 극복하기 위해.
• 얼굴 구성 요소 간의 공간적 관계와 주변 맥락을 활용하는 통합된 엔드 투 엔드 학습 가능한 프레임워크를 개발하기 위해.
• 특히 모발 애너테이션의 정확도를 높이기 위해 HELEN 트레이닝 세트를 수동으로 재라벨링하여 기존 얼굴 파싱 데이터셋의 품질을 향상시키기 위해.

제안 방법

• 전체 이미지를 고정 크기의 출력으로 비선형적으로 매핑하는 RoI Tanh-warping 연산자를 제안하여, 중심 얼굴 영역에 초점을 맞추면서도 주변 맥락을 유지한다.
• 왜곡된 이미지를 입력으로 사용하는 하이브리드 네트워크를 적용: RoI align을 사용해 영역별 특징을 추출하는 Mask R-CNN 스타일의 브랜치를 내부 구성 요소 분할에 활용한다.
• 완전 컨volution 네트워크(FCN) 브랜치를 사용해 외부 구성 요소, 즉 모발과 배경의 분할 마스크를 예측한다.
• 내부 얼굴 구성 요소 각각에 대해 별도의 공유되지 않은 분할 헤드를 사용하여 작업별 특징을 유지함으로써 정확도를 향상시킨다.
• 예측된 마스크를 원본 이미지 공간으로 다시 매핑하기 위해 네트워크에 탈왜곡 단계를 통합하여 정확한 인스턴스 수준의 분할을 달성한다.
• 데이터 증강과 HELEN 데이터셋의 레이블 정제를 적용하여 교차 엔트로피 손실과 DICE 손실을 사용해 전체 모델을 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크가 밀집된 얼굴 구성 요소와 광범위하게 확장된 모발 영역을 동시에 효과적으로 분할할 수 있는가?
• RQ2 표준 자르기 방식과 비교해 비선형 왜곡 연산을 통해 주변 맥락을 통합하면 분할 성능가 향상되는가?
• RQ3 RoI 기반과 완전 컨volution 브랜치를 조합한 하이브리드 아키텍처가 순수한 FCN 또는 R-CNN 기반 설계보다 얼굴 파싱에서 더 우수한 성능을 내는가?
• RQ4 내부 구성 요소에 대해 공유되지 않은 분할 헤드를 사용할 경우, 가중치 공유 방식보다 성능 향상이 이루어지는가?
• RQ5 실생활 이미지에서 자세, 가림, 여러 밀접하게 배치된 얼굴의 변화에 대해 제안된 방법이 얼마나 강인한가?

주요 결과

• 제안된 방법은 HELEN 및 LFW-PL 벤치마크에서 최신 기술 수준의 성능을 달성하여 F-측정치와 총 정확도에서 이전 방법을 능가한다.
• RoI Tanh-warping는 모발 분할 F-측정치를 88.8로 향상시켜 표준 자르기 방식(85.0)과 더 큰 크기의 자르기 대안들(83.8–84.5)을 능가한다.
• 하이브리드 아키텍처는 순수한 FCN(89.4)과 Mask R-CNN(84.9) 기반 모델보다 전체 F-측정치 93.1로 유의미하게 높은 성능을 기록한다.
• 내부 구성 요소에 대해 별도의 분할 헤드를 사용할 경우 공유 헤드(92.7)보다 더 좋은 결과(93.1)를 얻었으며, 이는 작업별 특징 학습의 이점이 있음을 확인한다.
• 모델은 실생활 환경에서도 잘 일반화되어 여러 얼굴을 정확히 구분하고 자세, 표정, 가림 등의 변화에 잘 대응한다.
• Titan Xp GPU에서 1장당 40ms로 실행되어 실시간 응용에 적합한 높은 효율성을 보여준다.