[논문 리뷰] Deep Convolutional Neural Network Features and the Original Image

Connor J. Parde, Carlos D. Castillo외 5명|arXiv (Cornell University)|2016. 11. 06.

Face recognition and analysis참고 문헌 17인용 수 19

한 줄 요약

이 논문은 깊이 강화된 합성곱 신경망(DCNN) 특징이 자세 및 조명 변화에 대해 강건함에도 불구하고 원본 이미지의 성질에 대한 정보를 어떻게 유지하는지 조사한다. 두 개의 얼굴 인식 네트워크에서 선형 분류기와 t-SNE 시각화를 사용한 결과, 최상위 레이어 특징이 야, 피치, 미디어 유형(정지 이미지 대비 영상 프레임), 그리고 이미지 품질을 인코딩하고 있음을 밝혀냈다. 특히 저품질 이미지가 특징 공간의 원점 근처에 뭉쳐져 있음을 확인했으며, 이는 DCNN 파이프라인에서 저품질 입력을 자동으로 식별할 수 있는 새로운 방법을 제안한다.

ABSTRACT

Face recognition algorithms based on deep convolutional neural networks (DCNNs) have made progress on the task of recognizing faces in unconstrained viewing conditions. These networks operate with compact feature-based face representations derived from learning a very large number of face images. While the learned features produced by DCNNs can be highly robust to changes in viewpoint, illumination, and appearance, little is known about the nature of the face code that emerges at the top level of such networks. We analyzed the DCNN features produced by two face recognition algorithms. In the first set of experiments we used the top-level features from the DCNNs as input into linear classifiers aimed at predicting metadata about the images. The results show that the DCNN features contain surprisingly accurate information about the yaw and pitch of a face, and about whether the face came from a still image or a video frame. In the second set of experiments, we measured the extent to which individual DCNN features operated in a view-dependent or view-invariant manner. We found that view-dependent coding was a characteristic of the identities rather than the DCNN features - with some identities coded consistently in a view-dependent way and others in a view-independent way. In our third analysis, we visualized the DCNN feature space for over 24,000 images of 500 identities. Images in the center of the space were uniformly of low quality (e.g., extreme views, face occlusion, low resolution). Image quality increased monotonically as a function of distance from the origin. This result suggests that image quality information is available in the DCNN features, such that consistently average feature values reflect coding failures that reliably indicate poor or unusable images. Combined, the results offer insight into the coding mechanisms that support robust representation of faces in DCNNs.

연구 동기 및 목표

• 비제약 조건의 얼굴 인식에서 깊이 강화된 합성곱 신경망(DCNN)이 학습한 얼굴 표현의 성격을 이해하기 위해.
• 강건한 DCNN 특징가 원본 이미지 성질(예: 자세, 조명, 미디어 유형)에 대한 정보를 유지하는지 조사하기 위해.
• 시야 의존적 또는 시야 불변적 코딩이 정체성의 성질인지, 아니면 DCNN 특징 자체의 성질인지 검토하기 위해.
• 이미지 품질이 DCNN 특징 공간의 구조에 인코딩되어 있는지, 특히 원점에서의 거리와 관련하여 탐색하기 위해.

제안 방법

• Janus CS2 데이터셋(기존 IJB-A의 확장판)에서 최근의 두 DCNN 얼굴 인식 모델을 훈련시었다.
• 이 네트워크의 최상위 레이어 특징을 선형 분류기의 입력으로 사용하여 메타데이터(야, 피치, 미디어 유형)를 예측했다.
• 24,502개의 이미지에 대한 특징 공간을 500명의 정체성에 대해 t-분포 확률 이웃 임베딩(t-SNE)을 적용하여 시각화했다.
• 특징 공간의 원점에서의 거리로 이미지들을 순위 매겨 이미지 품질 추세를 평가했다.
• 개별 특징을 분석하여 정체성 간에 시야 의존성 및 미디어 의존성을 검토했다.
• 저품질 이미지가 원점 근처에 뭉쳐져 있음을 시각화하여 공통된 열화 요인(예: 가림, 흐림, 극단적 시야)을 식별했다.

실험 결과

연구 질문

• RQ1 최상위 레이어 DCNN 특징가 원본 이미지의 자세(야, 피치) 및 미디어 유형(정지 이미지 또는 영상 프레임)에 대해 어느 정도 정보를 유지하는가?
• RQ2 시야 의존적 코딩은 DCNN 특징의 성질인지, 아니면 개별 정체성의 성질인가?
• RQ3 DCNN 특징 공간에서 원점으로부터의 거리가 이미지 품질과 상관이 있는가?
• RQ4 DCNN 특징 공간의 구조를 활용하여 저품질 또는 사용 불가능한 이미지를 식별하고 걸러낼 수 있는가?

주요 결과

• DCNN 최상위 레이어 특징는 야와 피치에 대해 높은 정확도로 정보를 유지하여 선형 분류기가 강력한 성능으로 이러한 속성을 예측할 수 있었다.
• 동일한 특징는 입력이 정지 이미지인지 영상 프레임인지 여부를 정확히 예측할 수 있었으며, 이는 미디어 특화된 특징가 인코딩되어 있음을 시사한다.
• 시야 의존적 코딩은 개별 정체성의 성질이었으며, 일부 정체성은 일관되게 시야 의존적으로 코딩되고 다른 정체성은 시야 불변적으로 코딩되는 것으로 나타났다.
• 극단적 시야, 가림, 흐림, 저해상도 등의 특징을 가진 저품질 이미지들은 특징 공간의 원점 근처에 뭉쳐져 있었다.
• 원점에서의 거리가 증가할수록 이미지 품질이 단조롭게 향상되었으며, 이는 원점에서의 거리가 이미지 품질의 신뢰할 수 있는 대체 지표가 됨을 시사한다.
• 특징 공간의 구조는 일관되게 낮은 특징 값이 코딩 실패를 반영함을 보여주었으며, 이는 저품질 또는 사용 불가능한 이미지의 자동 탐지가 가능함을 의미한다.