[논문 리뷰] One-to-many face recognition with bilinear CNNs

Aruni RoyChowdhury, Tsung‐Yu Lin외 2명|arXiv (Cornell University)|2015. 06. 03.

Face recognition and analysis참고 문헌 23인용 수 8

한 줄 요약

이 논문은 IARPA Janus Benchmark A (IJB-A)에서 일대다 얼굴 인식에 이중선형 컨볼루션 네트워크(B-CNN)를 사용하여 표준 CNN보다 뚜렷한 성능 향상을 보여준다. 사전 훈련된 네트워크의 특징 맵에 이중선형 풀링 연산을 적용함으로써 고차원 특징 상호작용을 포착하며, FaceScrub 및 IJB-A 훈련 데이터에 대한 미세조정을 거친 후 순위 1 재현율이 89.5%에 도달한다. 또한 추가 훈련 없이 사전 훈련된 VGG-Face 모델에 직접 적용해도 성능 향상을 얻을 수 있다.

ABSTRACT

The recent explosive growth in convolutional neural network (CNN) research has produced a variety of new architectures for deep learning. One intriguing new architecture is the bilinear CNN (B-CNN), which has shown dramatic performance gains on certain fine-grained recognition problems [15]. We apply this new CNN to the challenging new face recognition benchmark, the IARPA Janus Benchmark A (IJB-A) [12]. It features faces from a large number of identities in challenging real-world conditions. Because the face images were not identified automatically using a computerized face detection system, it does not have the bias inherent in such a database. We demonstrate the performance of the B-CNN model beginning from an AlexNet-style network pre-trained on ImageNet. We then show results for fine-tuning using a moderate-sized and public external database, FaceScrub [17]. We also present results with additional fine-tuning on the limited training data provided by the protocol. In each case, the fine-tuned bilinear model shows substantial improvements over the standard CNN. Finally, we demonstrate how a standard CNN pre-trained on a large face database, the recently released VGG-Face model [20], can be converted into a B-CNN without any additional feature training. This B-CNN improves upon the CNN performance on the IJB-A benchmark, achieving 89.5% rank-1 recall.

연구 동기 및 목표

• 자연스럽고 제약이 없는 환경에서 상당한 자세 및 외형 변동이 존재하는 조건에서 일대다 얼굴 인식 문제를 해결하기 위해.
• 원래 미세한 구분 인식을 위해 개발된 이중선형 CNN이 IJB-A 벤치마크에서 다양한 수동으로 캐릭터화된 얼굴 이미지를 포함하는 데 효과적인지 평가하기 위해.
• FaceScrub과 같은 외부 얼굴 데이터셋에서 이중선형 모델을 미세조정하면 표준 CNN보다 성능 향상이 뚜렷한지 조사하기 위해.
• 사전 훈련된 VGG-Face 네트워크가 재학습 없이도 B-CNN로 직접 변환될 수 있으며, 성능 향상이 이루어지는지 보여주기 위해.

제안 방법

• 이중선형 CNN 아키텍처는 두 개의 병렬 스트림 네트워크에서 유도된 활성화 맵의 외적 곱을 계산한 후, 공간 평균 풀링을 통해 고차원 특징 표현을 생성한다.
• 특징 수준의 풀링은 점수 수준의 풀링보다 자세 및 시야 변화에 더 강건한 다중 이미지 템플릿 통합에 유리하다.
• 모델는 ImageNet 사전 훈련된 AlexNet 스타일 네트워크에서 초기화되어 공개된 FaceScrub 데이터셋과 IJB-A 훈련 세트에서 미세조정된다.
• 사전 훈련된 VGG-Face 모델은 최종 완전 연결 층을 이중선형 층으로 교체함으로써 재학습 없이 B-CNN로 변환된다.
• 갤러리 임베딩은 이중선형 특징에서 유도된 후, 일대다 분류를 위해 하나의 양성 분류기(SVM)가 훈련된다.
• 성능 평가는 표준 메트릭을 사용하여 평가되며, 개방 집합 1:N 프로토콜 하에서 누적 매칭 특성(CMC) 및 결함 오류 트레이드오프( DET) 곡선이 사용된다.

실험 결과

연구 질문

• RQ1 IJB-A 벤치마크는 도전적인 실생활 얼굴 인식 조건을 제공하나, 이중선형 CNN이 이곳에서 뛰어난 성능을 낼 수 있는가?
• RQ2 FaceScrub과 같은 외부 얼굴 데이터셋에서 이중선형 모델을 미세조정하면 표준 CNN보다 뚜렷한 성능 향상이 이루어지는가?
• RQ3 VGG-Face와 같은 사전 훈련된 깊은 얼굴 인식 모델이 추가 학습 없이 효과적으로 B-CNN로 변환될 수 있으며, 성능 향상이 이루어지는가?
• RQ4 다양한 이미지 템플릿 상황에서 특징 수준의 풀링과 점수 수준의 풀링 전략이 인식 정확도에 어떤 영향을 미치는가?

주요 결과

• FaceScrub 및 IJB-A 훈련 세트에서 모두 미세조정한 이중선형 CNN 모델은 IJB-A 벤치마크에서 순위 1 재현율 89.5%를 달성하여 표준 CNN 기반 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 추가적인 미세조정 없이도 사전 훈련된 VGG-Face 모델의 이중선형 버전은 순위 1 재현율 89.5%를 기록했으며, 원래 VGG-Face CNN의 89.2%보다 略로 높았다.
• 모든 평가 프로토콜에서 이중선형 모델은 표준 CNN을 항상 능가했으며, 특히 개방 집합 식별 설정에서 가장 큰 성능 향상을 보였다.
• 특징 수준의 풀링은 점수 수준의 풀링보다 약 2배 빠르며 정확도의 차이가 거의 없어 실시간 구현에 더 효율적임이 확인되었다.
• FaceScrub에서 이중선형 모델을 미세조정하는 데 약 2일이 소요되었으며, 최종 모델은 FPIR=0.1일 때 FNIR가 0.659를 기록했다.
• B-CNN 아키텍처는 자세 변화에 대해 강건했으며, 다중 이미지 템플릿 상황에서 성능 향상이 유지되었고, 다양한 풀링 및 훈련 전략에서도 일관된 성능 향상을 보였다.