[논문 리뷰] Learning Deep Face Representation

Haoqiang Fan, Zhimin Cao외 3명|arXiv (Cornell University)|2014. 03. 12.

Face recognition and analysis인용 수 60

한 줄 요약

이 논문은 매우 압축되고 분류 능력이 뛰어난 얼굴 표현을 학습하기 위한 새로운 딥러닝 프레임워크인 피라미드 CNN을 제안한다. 게으른 필터링 및 다운샘플링 연산을 통해 빠르고 계산 효율적인 학습을 가능하게 하며, LFW 벤치마크에서 단지 8차원의 특징으로도 최신 기준인 97.3%의 정확도를 달성한다. 또한 새로운 소셜 네트워크 얼굴 데이터셋에서 강력한 일반화 능력도 입증한다.

ABSTRACT

Face representation is a crucial step of face recognition systems. An optimal face representation should be discriminative, robust, compact, and very easy-to-implement. While numerous hand-crafted and learning-based representations have been proposed, considerable room for improvement is still present. In this paper, we present a very easy-to-implement deep learning framework for face representation. Our method bases on a new structure of deep network (called Pyramid CNN). The proposed Pyramid CNN adopts a greedy-filter-and-down-sample operation, which enables the training procedure to be very fast and computation-efficient. In addition, the structure of Pyramid CNN can naturally incorporate feature sharing across multi-scale face representations, increasing the discriminative ability of resulting representation. Our basic network is capable of achieving high recognition accuracy ($85.8\%$ on LFW benchmark) with only 8 dimension representation. When extended to feature-sharing Pyramid CNN, our system achieves the state-of-the-art performance ($97.3\%$) on LFW benchmark. We also introduce a new benchmark of realistic face images on social network and validate our proposed representation has a good ability of generalization.

연구 동기 및 목표

• 수작업 특징의 한계를 극복하고, 통합적이며 쉽게 구현할 수 있는 얼굴 표현을 위한 딥러닝 프레임워크를 개발한다.
• 얼굴 인식을 위한 딥 네트워크의 빠르고 계산 효율적인 학습을 가능하게 한다.
• 매우 압축된 특징 표현(예: 8차원)으로도 높은 인식 정확도를 달성한다.
• 피라미드 레벨 간의 다중 척도 특징 공유를 통해 분류 능력을 향상시킨다.
• 실제로 제약이 없는 소셜 네트워크에서의 얼굴 이미지에 대한 일반화 능력을 검증한다.

제안 방법

• 학습 속도 향상과 계산량 감소를 위해 게으른 필터링 및 다운샘플링 연산을 사용하는 새로운 딥 네트워크 아키텍처인 피라미드 CNN을 제안한다.
• 이미지 픽셀에 직접 학습시키기 위해 얼굴 쌍 신호를 활용한 지도 학습을 수행한다.
• 피라미드 레벨 간의 다중 척도 특징 공유를 통합하여 분류 능력을 향상시킨다.
• 하나의 계층에서 낮은 수준의 특징을 여러 척도에 공유함으로써 표현 품질을 향상시키는 계층적 구조를 사용한다.
• 다양한 해상도에서 표현을 추출하기 위해 지문 기반의 다중 척도 이미지 자르기 기법을 적용한다.
• 대조 손실 또는 유사한 감독 신호를 사용하여 얼굴 쌍에 기반해 네트워크를 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 통합된 딥러닝 프레임워크가 최소한의 복잡성과 높은 효율성으로 최신 기준의 얼굴 인식 성능을 달성할 수 있는가?
• RQ2 표준 CNN에 비해 피라미드 CNN 아키텍처가 학습 속도와 표현의 압축성 측면에서 어떻게 향상되는가?
• RQ3 다중 척도 특징 공유가 학습된 얼굴 표현의 분류 능력을 어느 정도 향상시키는가?
• RQ4 학습된 표현이 소셜 네트워크에서의 실제 제약 없는 얼굴 이미지에 대해 얼마나 잘 일반화되는가?
• RQ5 실제 접근 제어와 관련된 엄격한 거짓 양성률 조건 하에서 이 방법의 성능은 어떠한가?

주요 결과

• 기본적인 피라미드 CNN은 8차원 얼굴 표현만으로 LFW 벤치마크에서 85.8%의 정확도를 달성한다.
• 확장된 다중 척도 특징 공유 피라미드 CNN은 LFW에서 97.3%의 정확도를 기록하여 새로운 최고 성능을 수립한다.
• 새로운 소셜 페이스 데이터셋에서 고차원 LBP 기반 베이스라인에 비해 12%포인트의 TPR 향상을 보였으며, FPR = 0.001일 때 0.44 vs. 0.32로 나타났다.
• 피라미드 CNN을 사용한 학습은 단일 대규모 네트워크를 학습시키는 것보다 더 짧은 시간에 더 높은 정확도를 달성하여 빠른 수렴을 보였다.
• 노화 및 가림 등의 어려운 케이스에서도 시스템은 높은 성능를 유지했으며, 164개의 오류 중 158개가 이러한 요인에 기인하였다.
• 결과적으로 향후 성능 향상을 위해서는 원본 이미지 특징을 넘어서 맥락적 및 배경 지식을 통합할 필요가 있음을 시사한다.