[논문 리뷰] Exploring the Interchangeability of CNN Embedding Spaces

David G. McNeely-White, Benjamin Sattelberg외 2명|arXiv (Cornell University)|2020. 10. 05.

Face recognition and analysis참고 문헌 46인용 수 5

한 줄 요약

이 논문은 동일한 작업(이미지 분류 및 얼굴 인식)을 위해 훈련된 서로 다른 CNN에서 유도된 특징 임베딩 간에 경험적으로 추정된 선형 변환을 통해 거의 상호 교환 가능하게 만들 수 있음을 보여준다. 핵심 발견은 얼굴 인식과 같은 후행 작업에서 변환 후 최대 1.0% 이내의 정확도 손실만 발생함으로써 다양한 아키텍처와 훈련 데이터 간에 임베딩 공간 간 깊은 선형 등가성이 존재한다는 것이다.

ABSTRACT

CNN feature spaces can be linearly mapped and consequently are often interchangeable. This equivalence holds across variations in architectures, training datasets, and network tasks. Specifically, we mapped between 10 image-classification CNNs and between 4 facial-recognition CNNs. When image embeddings generated by one CNN are transformed into embeddings corresponding to the feature space of a second CNN trained on the same task, their respective image classification or face verification performance is largely preserved. For CNNs trained to the same classes and sharing a common backend-logit (soft-max) architecture, a linear-mapping may always be calculated directly from the backend layer weights. However, the case of a closed-set analysis with perfect knowledge of classifiers is limiting. Therefore, empirical methods of estimating mappings are presented for both the closed-set image classification task and the open-set task of face recognition. The results presented expose the essentially interchangeable nature of CNNs embeddings for two important and common recognition tasks. The implications are far-reaching, suggesting an underlying commonality between representations learned by networks designed and trained for a common task. One practical implication is that face embeddings from some commonly used CNNs can be compared using these mappings.

연구 동기 및 목표

• 동일한 작업을 위해 훈련된 서로 다른 CNN에서 유도된 특징 임베딩 간에 선형 상호 교환 가능성이 있는지 조사하기.
• 분석적 해법이 존재하지 않을 경우 임베딩 공간 간의 선형 변환을 경험적으로 추정하는 방법을 개발하기.
• 매핑된 임베딩의 성능을 폐쇄집합(이미지 분류) 및 개방집합(얼굴 인식) 시나리오에서 평가하기.
• 예를 들어, 서로 다른 모델에서 유도된 얼굴 임베딩을 사용하여 교차 데이터베이스 신원 연결을 수행하는 실용적 응용을 보여주기.

제안 방법

• 폐쇄집합 이미지 분류 설정에서는 동일한 이미지에서의 쌍체 임베딩을 기반으로 릿지 회귀를 사용하여 10개의 ImageNet 훈련 CNN 간의 선형 변환을 추정하였다.
• 개방집합 얼굴 인식 설정에서는 9개의 LFW 훈련 폴드에서 유도된 2,700개의 일치하는 이미지 쌍을 사용하여 서로 다른 얼굴 인식 모델의 임베딩을 정렬하는 데 변환을 추정하였다.
• 선형 변환 행렬은 릿지 회귀를 통해 변환된 임베딩와 목표 임베딩 간의 L2 거리 최소화를 통해 계산되었으며, 식은 다음과 같다: $\min_{\tilde{\mathbf{M}}_{A\to B}} \sum_{i=1}^{m} ||\tilde{\mathbf{M}}_{A\to B}f_A(x_i) - f_B(y_i)||_2 + ||\tilde{\mathbf{M}}_{A\to B}||_F$.
• 매핑된 임베딩는 10개의 교차 검증 폴드를 평균화하여 나머지 LFW 검증 폴드에서 얼굴 인식 정확도를 사용해 평가되었다.
• 정체성 매핑을 기준선으로 사용하여 서로 다른 모델의 임베딩 간 직접 비교가 거의 무작위 성능을 보임을 확인함으로써, 학습된 변환의 필요성을 검증하였다.
• 이 방법은 실세계 데이터에 적용되어 연방 연구 프로그램에서 서로 다른 데이터베이스 간에 신원을 연결하는 데 성공적으로 활용되었다.

실험 결과

연구 질문

• RQ1 동일한 작업을 위해 훈련된 서로 다른 CNN에서 유도된 특징 임베딩 간에 최소한의 성능 저하로 선형 변환을 통해 상호 교환 가능할 수 있는가?
• RQ2 경험적으로 추정된 선형 변환이 폐쇄집합 이미지 분류 및 개방집합 얼굴 인식 작업 모두에서 성능을 얼마나 잘 유지하는가?
• RQ3 다른 아키텍처와 훈련 데이터를 가진 다양한 CNN 아키텍처가 선형 등가성을 가지는 임베딩 공간을 얼마나 잘 생성하는가?
• RQ4 이러한 선형 상호 교환 가능성의 실용적 의미는 무엇이며, 특히 교차 데이터베이스 신원 연결에서 어떤 영향을 미치는가?
• RQ5 왜 서로 다른 모델의 임베딩 간 직접 비교가 실패하는가? 그리고 선형 변환을 학습하는 것이 이를 어떻게 해결하는가?

주요 결과

• 아키텍처와 훈련 데이터가 다를지라도 일치하는 이미지 쌍을 기반으로 릿지 회귀를 사용하여 CNN 임베딩 공간 간의 선형 변환을 신뢰성 있게 추정할 수 있다.
• 폐쇄집합 이미지 분류 작업에서, 10개의 ImageNet 훈련 모델 간에 매핑 후 성능 저하가 거의 없이 유지되었으며, 성능이 거의 그대로 유지되었다.
• LFW에서의 개방집합 얼굴 인식 작업에서 선형 매핑으로 인한 최대 정확도 손실은 1.0% 이내였으며, 이는 임베딩 공간 간 강력한 선형 등가성을 시사한다.
• 모델 MM는 매핑 성능이 열악하여 일부 네트워크는 전이 가능한 표현을 갖지 못할 수 있음을 시사하지만, 대부분의 임베딩는 매우 상호 교환 가능하다.
• 정체성 매핑을 사용한 임베딩 간 직접 비교는 거의 무작위 성능을 보였으며, 이는 학습된 선형 변환이 효과적인 상호 교환성을 확보하기 위해 필수적임을 확인한다.
• 이 방법은 실세계 연방 연구 프로그램에서 성공적으로 교차 데이터베이스 신원 연결을 수행하여, 별도의 데이터베이스 간에 숨겨진 신원을 연결하는 데 실용적 유용성을 입증하였다.