[논문 리뷰] Can a biologically-plausible hierarchy effectively replace face detection, alignment, and recognition pipelines?

Qianli Liao, Joel Z. Leibo외 2명|arXiv (Cornell University)|2013. 11. 16.

Face recognition and analysis참고 문헌 36인용 수 13

한 줄 요약

이 논문은 전통적인 얼굴 검출, 정렬, 인식 파이프라인을 대체하기 위해 국소성에 민감한 해시 기반 투표 방식인 '충돌의 공감'(CoC)을 사용하는 생물학적으로 타당한 피드포워드 계층적 네트워크를 제안한다. 이는 암묵적인 불변성을 달성한다. 시스템은 외부 검출 또는 정렬 없이도 정렬되지 않은 LFW 데이터셋에서 87.55%의 정확도를 달성하여, 정렬된 데이터에서 최상의 성능을 내는 기존 시스템과 동일한 결과를 얻었으며, LFW-jittered 및 SUFR-W와 같은 더 도전적인 데이터셋으로도 잘 일반화된다.

ABSTRACT

The standard approach to unconstrained face recognition in natural photographs is via a detection, alignment, recognition pipeline. While that approach has achieved impressive results, there are several reasons to be dissatisfied with it, among them is its lack of biological plausibility. A recent theory of invariant recognition by feedforward hierarchical networks, like HMAX, other convolutional networks, or possibly the ventral stream, implies an alternative approach to unconstrained face recognition. This approach accomplishes detection and alignment implicitly by storing transformations of training images (called templates) rather than explicitly detecting and aligning faces at test time. Here we propose a particular locality-sensitive hashing based voting scheme which we call "consensus of collisions" and show that it can be used to approximate the full 3-layer hierarchy implied by the theory. The resulting end-to-end system for unconstrained face recognition operates on photographs of faces taken under natural conditions, e.g., Labeled Faces in the Wild (LFW), without aligning or cropping them, as is normally done. It achieves a drastic improvement in the state of the art on this end-to-end task, reaching the same level of performance as the best systems operating on aligned, closely cropped images (no outside training data). It also performs well on two newer datasets, similar to LFW, but more difficult: LFW-jittered (new here) and SUFR-W.

연구 동기 및 목표

• 비정상적인 얼굴 인식을 위한 표준 검출-정렬-인식(DAR) 파이프라인을 효과적으로 대체할 수 있는 생물학적으로 타당한 피드포워드 계층적 네트워크인지 조사하기.
• DAR 파이프라인의 한계, 즉 생물학적 타당성 부족과 정렬 및 검출 단계에서 유도되는 데이터셋 편향에 대응하기.
• 사전 처리 단계에 의존하지 않고 전체 정렬되지 않은, 자르지 않은 이미지에서 직접 얼굴 인식을 수행하는 확장 가능한 종단 간 시스템을 개발하기.
• LFW-jittered 및 SUFR-W와 같이 더 도전적인 새로운 데이터셋을 사용하여 분포 이탈에 대한 내성 평가하기.
• 계층적 템플릿 기반 시스템이 전이, 스케일, 회전에 대해 불변성을 달성할 수 있으며, 전용 검출 및 정렬 단계가 반드시 필요하지 않다는 것을 입증하기.

제안 방법

• 이론적 계층 네트워크에서의 불변 인식 모델을 영감으로 삼은 3층 피드포워드 계층적 네트워크를 사용하며, 변환된 훈련 이미지를 템플릿으로 저장한다.
• 공간 및 스케일에 대한 전체 컨볼루션을 효율적으로 근사하기 위해 새로운 국소성에 민감한 해시(LSH) 기법을 사용하여 계산 비용을 감소시킨다.
• '공감의 충돌'(CoC) 투표 메커니즘은 여러 해시 테이블 간의 공통된 특징을 식별하여 일치하는 템플릿을 탐지함으로써 빠르고 강건한 특징 매칭을 가능하게 한다.
• 입력으로 HOG 및 LBP 특징을 사용하며, 해시 코드 길이 28과 20개의 해시 테이블을 사용하여 이미지의 서명 표현을 생성한다.
• 세 번째 레이어 서명 간의 차이에 대해 최종 RBF-SVM 분류기를 적용하여 유사도 점수를 계산한다.
• 시스템은 외부 데이터나 사전 정렬 없이 전체 정렬되지 않은 이미지에서 종단 간 훈련을 수행하며, LFW, LFW-jittered, SUFR-W 데이터셋에서 테스트된다.

실험 결과

연구 질문

• RQ1 생물학적으로 타당한 피드포워드 계층적 네트워크가 명시적인 검출 또는 정렬 단계 없이도 경쟁력 있는 얼굴 인식 성능를 달성할 수 있는가?
• RQ2 제안된 공감의 충돌(CoC) 해시 기법이 전체 계층적 템플릿 매칭 과정을 효과적으로 근사하면서도 속도와 확장성을 유지하는가?
• RQ3 정렬되지 않은, 자르지 않은 이미지에서 최신 기술 시스템이 정렬된 데이터에서 훈련된 결과와 비교해 어떻게 성능을 내는가?
• RQ4 LFW-jittered 및 SUFR-W 데이터셋에서 관찰되는 자세, 스케일, 방향의 증가된 변동성과 같은 분포 이탈에 대해 시스템이 내성적인가?
• RQ5 시스템이 특정 데이터 분포에 과적합되지 않고, 다양한 데이터셋 간에 일반화되는가?

주요 결과

• 제안된 시스템은 정렬되지 않은 LFW 데이터셋에서 87.55%의 정확도를 달성하였으며, 이는 정밀하게 자르고 정렬된 이미지에서 작동하는 최고 성능 시스템과 동일한 결과이며, 외부 훈련 데이터를 전혀 사용하지 않았다.
• 이동, 스케일, 평면 내 회전의 큰 변동성을 포함하는 더 도전적인 LFW-jittered 데이터셋에서 시스템은 87.45%의 정확도를 유지하며, 기준 HOG+SVM은 55.28%로 떨어진다.
• 시스템은 데이터셋 간에 잘 일반화된다: SUFR-W에서 훈련하고 LFW에서 테스트하면 84.55%의 정확도를 기록하며, 반대로도 동일한 성능을 보여, 데이터셋 편향에 대한 강건성을 입증한다.
• HOG+LBP 특징과 RBF-SVM을 사용할 경우에도 성능이 우수하여 87.55%의 정확도를 달성하며, '정렬되지 않은 이미지이면서 외부 데이터를 사용하지 않은' 범주에서 최고 수준의 기술을 능가한다.
• 시스템의 성능는 과적합 때문이 아니며, 다양한 데이터셋 간에 일반화되며 심각한 이미지 변형 조건에서도 높은 정확도를 유지한다.
• 결과는 계층 네트워크의 큰 템플릿이 잡음과 혼잡함을 완화하고, 복합 얼굴 효과와 같은 전체 얼굴 처리 효과를 설명할 수 있음을 지지하며, 이는 템플릿 기반 접근의 잠재력을 시사한다.