[논문 리뷰] Deep Convolutional Neural Networks in the Face of Caricature: Identity and Image Revealed

Matthew Q. Hill, Connor J. Parde외 6명|arXiv (Cornell University)|2018. 12. 28.

Face recognition and analysis참고 문헌 57인용 수 13

한 줄 요약

이 논문은 깊이 있는 합성곱 신경망(DCNNs)이 고차원적 얼굴 공간 내에서 얼굴 정체성과 시점, 조명, 성별과 같은 영상 요소를 어떻게 조직하는지 조사한다. t-SNE 시각화와 선형 분류를 통해 저자들은 정체성이 성별 아래에 계층적으로 내재되어 있으며, 조명이 정체성 아래에, 시점이 조명 아래에 위치함을 보여주며, 캐릭터화된 얼굴이 고유한 특징을 강조하고 외관 변화에 대한 민감도를 낮춤으로써 정체성 식별을 향상시킴을 밝혀낸다.

ABSTRACT

Real-world face recognition requires an ability to perceive the unique features of an individual face across multiple, variable images. The primate visual system solves the problem of image invariance using cascades of neurons that convert images of faces into categorical representations of facial identity. Deep convolutional neural networks (DCNNs) also create generalizable face representations, but with cascades of simulated neurons. DCNN representations can be examined in a multidimensional "face space", with identities and image parameters quantified via their projections onto the axes that define the space. We examined the organization of viewpoint, illumination, gender, and identity in this space. We show that the network creates a highly organized, hierarchically nested, face similarity structure in which information about face identity and imaging characteristics coexist. Natural image variation is accommodated in this hierarchy, with face identity nested under gender, illumination nested under identity, and viewpoint nested under illumination. To examine identity, we caricatured faces and found that network identification accuracy increased with caricature level, and--mimicking human perception--a caricatured distortion of a face "resembled" its veridical counterpart. Caricatures improved performance by moving the identity away from other identities in the face space and minimizing the effects of illumination and viewpoint. Deep networks produce face representations that solve long-standing computational problems in generalized face recognition. They also provide a unitary theoretical framework for reconciling decades of behavioral and neural results that emphasized either the image or the object/face in representations, without understanding how a neural code could seamlessly accommodate both.

연구 동기 및 목표

• 깊이 있는 합성곱 신경망(DCNNs)이 시점, 조명, 성별과 같은 얼굴 정체성과 영상 변형을 어떻게 표현하는지 이해하는 것.
• DCNNs가 정체성의 일관성과 영상 수준의 변형을 동시에 유지할 수 있는지 확인하여 얼굴 인식 분야에서 오랫동안 놓여온 논쟁을 해결하는 것.
• 캐릭터화가 DCNN 내 정체성 표현에 미치는 영향을 조사하여 인간과 유사한 얼굴 유사성 인식 모델링을 하는 것.
• DCNN 내 얼굴 공간의 계층적 조직이 영양동물 시각 체계와 행동 데이터에서 관찰된 원리와 유사한지 확인하는 것.
• 딥 러닝 표현을 이용해 개체 중심 모델과 영상 기반 모델을 통합하는 이론적 프레임워크를 제공하는 것.

제안 방법

• 얼굴 식별을 위해 훈련된 두 개의 DCNNs—Network A(유니버스 데이터셋에서 크리스탈 손실를 적용한 ResNet-101)와 Network B(15층 CNN, CASIA-WebFace 데이터셋)—을 사용하였다.
• 모든 자극, 포함하여 모폴로지드된 얼굴에 대해 512차원의 이전층 특징을 추출하여 정체성 기술자로 사용하였다.
• t-SNE(베른스-후트 근사, θ=0.5, perplextiy=30 및 100)를 사용하여 고차원 얼굴 공간을 2차원으로 시각화하였으며, 각도 거리 유지에 중점을 두었다.
• 성별과 조명을 분류하기 위해 선형 판별 분석(LDA)을 적용하였고, 시점을 예측하기 위해 무어-펜로즈 의사역행렬을 사용한 선형 회귀를 적용하였다.
• 분류 결과의 통계적 유의성을 평가하기 위해 순열 검정(n=1000)을 실시하였으며, 모든 변수에 대해 p<.001을 기준으로 하였다.
• 3D 레이저 스캔을 통해 모폴로지드된 자극을 생성하였으며, 정체성 강도(s)를 조작하여 s>1일 경우 캐릭터화된 얼굴, 0<s<1일 경우 반-캐릭터화된 얼굴을 생성하였다.

실험 결과

연구 질문

• RQ1 DCNN의 깊이 있는 얼굴 표현 공간 내에서 정체성, 성별, 조명, 시점은 어떻게 조직되어 있는가?
• RQ2 캐릭터화 수준을 높일수록 DCNN의 정체성 인식 정확도가 향상되는가? 이는 인간의 얼굴 유사성 인식과 유사한가?
• RQ3 DCNN는 시점과 조명의 변형에 대해 얼마나 정체성 일관성을 유지하는가?
• RQ4 영상 요소의 계층적 내재(예: 정체성이 성별 아래, 조명이 정체성 아래에 있음)를 얼굴 공간에서 정량화하고 시각화할 수 있는가?
• RQ5 캐릭터화된 얼굴은 얼굴 공간 내에서 정체성 표현 간의 분리를 향상시켜 조명과 시점의 간섭을 줄이는가?

주요 결과

• DCNN 얼굴 공간은 계층적이고 내재된 구조를 보이며, 정체성이 성별 아래에, 조명이 정체성 아래에, 시점이 조명 아래에 위치한다.
• 캐릭터화된 얼굴은 DCNN의 정체성 인식 정확도를 향상시켰으며, 캐릭터화 강도가 증가할수록 성능이 향상되었다.
• 캐릭터화된 얼굴은 정체성 표현을 다른 정체성들로부터 더 멀리 이동시켜 정체성의 독창성을 강화함으로써 조명과 시점의 간섭을 감소시켰다.
• 512차원 특징에 대한 LDA를 통한 성별 및 조명 분류 결과는 통계적으로 유의미했으며(p<.001), 진짜 값과 순열 검정에서 유도된 근무 분포 간에 겹침이 없었다.
• 무어-펜로즈 의사역행렬을 사용한 선형 회귀를 통한 시점 예측 결과 역시 통계적으로 유의미했으며(p<.001), 이는 시점 정보가 표현에 포함되어 있음을 확인했다.
• 두 개의 서로 다른 DCNN 아키텍처(Network A 및 Network B) 간에 결과가 일관되었으며, 관찰된 얼굴 공간 조직의 강건성을 뒷받침한다.