[논문 리뷰] Face Parsing via a Fully-Convolutional Continuous CRF Neural Network

Lei Zhou, Zhi Liu외 1명|arXiv (Cornell University)|2017. 08. 12.

Face recognition and analysis참고 문헌 23인용 수 32

한 줄 요약

이 논문은 고해상도 특징 복원과 경계 보존을 위해 단일 컨volution 레이어로 구성된 전연결형 연속 CRF 신경망(FC-CNN)을 제안한다. 이는 단일망, 상호작용망, 그리고 기하학적 일致성을 강화하는 미분 가능한 연속 CRF 레이어를 통합하여, 초분광 기반의 정밀한 세분화를 달성한다. 이 방법은 엔드 투 엔드 학습과 초분광 기반의 정밀 보정, 효율적인 MAP 추론을 결합하여 LFW-PL 및 HELEN 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

In this work, we address the face parsing task with a Fully-Convolutional continuous CRF Neural Network (FC-CNN) architecture. In contrast to previous face parsing methods that apply region-based subnetwork hundreds of times, our FC-CNN is fully convolutional with high segmentation accuracy. To achieve this goal, FC-CNN integrates three subnetworks, a unary network, a pairwise network and a continuous Conditional Random Field (C-CRF) network into a unified framework. The high-level semantic information and low-level details across different convolutional layers are captured by the convolutional and deconvolutional structures in the unary network. The semantic edge context is learnt by the pairwise network branch to construct pixel-wise affinity. Based on a differentiable superpixel pooling layer and a differentiable C-CRF layer, the unary network and pairwise network are combined via a novel continuous CRF network to achieve spatial consistency in both training and test procedure of a deep neural network. Comprehensive evaluations on LFW-PL and HELEN datasets demonstrate that FC-CNN achieves better performance over the other state-of-arts for accurate face labeling on challenging images.

연구 동기 및 목표

• 기존의 얼굴 분할 방법이 미세한 세부 정보와 공간 일관성을 유지하는 데에 한계가 있음을 해결하기 위해.
• 미분 가능한 연속 CRF를 통해 구조적 예측을 통합한 딥 네ural 네트워크의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 초분광 기반의 맥락 모델링을 통해 작은 얼굴 성분(예: 눈썹, 눈)의 세분화 정확도를 향상시키기 위해.
• 고해상도 출력을 유지하면서도 초분광에서의 연산을 통해 CRF 추론의 계산 비용을 감소시키기 위해.
• 단일 전연결형 아키텍처로 단일망, 상호작용망, CRF 구성요소를 통합하여 조밀한 픽셀 수준의 레이블링을 실현하기 위해.

제안 방법

• 스택된 컨볼루션 및 디컨볼루션 블록을 갖춘 단일망은 고해상도 특징을 복원하고 이미지의 세부 정보를 유지한다.
• 상호작용망은 이웃하는 초분광 간의 공간적 관계를 모델링하기 위해 픽셀 간 유사도를 학습한다.
• 미분 가능한 초분광 풀링 레이어는 초분광에서의 특징를 집계하여 레이블 예측을 안내하고 국소 일관성을 강화한다.
• 연속 CRF 레이어는 초분광 기반의 유사도 행렬을 사용하여 정확한 미분 가능한 MAP 추론을 수행하여 세분화 맵을 정밀하게 보정한다.
• 전체 네트워크는 백프로파게이션 과정에 연속 CRF 레이어를 학습 가능한 구성요소로 통합하여 엔드 투 엔드로 학습된다.
• 다중 컨볼루션 레이어의 계층적 특징과 초분광 사전 지식을 통합하여 경계 정확도와 영역의 무결성을 향상시킨다.

실험 결과

연구 질문

• RQ1 미분 가능한 CRF 레이어를 갖춘 전연결형 신경망이 후처리 CRF 방법에 비해 더 뛰어난 얼굴 분할 성능을 달성할 수 있는가?
• RQ2 초분광 기반 맥락 모델링을 통합함으로써 작은 얼굴 성분의 세분화 정확도는 얼마나 향상되는가?
• RQ3 미분 가능한 연속 CRF를 통한 엔드 투 엔드 학습이 공간 일관성과 경계 분리 정확도를 얼마나 향상시키는가?
• RQ4 실시간 추론을 위한 딥 러닝 프레임워크에 연속 CRF 레이어를 효율적으로 통합할 수 있는가?
• RQ5 제안된 아키텍처는 미세한 얼굴 영역을 처리하는 데 있어 최신 기술의 전연결형 네트워크와 비교해 어떤가?

주요 결과

• FC-CNN는 LFW-PL 데이터셋에서 FCN, CRFFCN, DEEPLAB, SEGNET 등의 방법보다 전체 및 클래스별 F-측정치에서 최신 기준 성능을 달성한다.
• HELEN 데이터셋에서 FC-CNN는 FCN, DEEPLAB, CRFFCN보다 모든 클래스에서 더 높은 F-측정치를 기록했으며, 특히 눈썹, 눈과 같은 작은 성분과 희귀 성분에서 두드러진 성능 향상을 보였다.
• 초분광과 초분광 풀링 레이어의 통합은 HELEN의 7개 클래스 전반에서 세분화 정확도를 향상시켰으며, 잘못된 레이블 영역을 감소시키고 영역의 일관성을 강화했다.
• 제거 실험 결과, 연속 CRF 레이어가 경계 정확도를 크게 향상시키고, 특히 내부 입술, 눈썹과 같은 미세한 영역에서 노이즈를 줄이는 데 기여함을 확인했다.
• 미분 가능한 CRF 레이어는 학습 및 테스트 시 효율적이고 정확한 MAP 추론을 가능하게 하여 전통적인 CRF 후처리의 높은 비용을 피했다.
• 정성적 결과 분석에서 FC-CNN는 기준 방법에 비해 더 정확하고 세밀한 마스크를 생성했으며, 특히 작은 객체 경계 보존과 과다 분할 최소화에 뛰어난 성능을 보였다.