[논문 리뷰] Supervised COSMOS Autoencoder: Learning Beyond the Euclidean Loss!

Maneet Singh, Shruti Nagpal외 3명|arXiv (Cornell University)|2018. 10. 15.

Face recognition and analysis참고 문헌 56인용 수 5

한 줄 요약

이 논문은 분류 성능을 햖스르기 위해 코사인 유사도(방향 유사성), 마할라노비스 거리(분포 일致성) 및 상호정보량(구별 가능한 특징 학습)을 동시에 최적화하는 새로운 다중목적 오토인코더인 Supervised COSMOS Autoencoder를 제안한다. 이 모델은 이미지 분류, 속성 예측 및 얼굴 인식 작업에서 MNIST, CIFAR-10, SVHN, CelebA, LFWA, Adience 및 IJB-A에 대해 최신 기준 성능을 달성한다.

ABSTRACT

Autoencoders are unsupervised deep learning models used for learning representations. In literature, autoencoders have shown to perform well on a variety of tasks spread across multiple domains, thereby establishing widespread applicability. Typically, an autoencoder is trained to generate a model that minimizes the reconstruction error between the input and the reconstructed output, computed in terms of the Euclidean distance. While this can be useful for applications related to unsupervised reconstruction, it may not be optimal for classification. In this paper, we propose a novel Supervised COSMOS Autoencoder which utilizes a multi-objective loss function to learn representations that simultaneously encode the (i) "similarity" between the input and reconstructed vectors in terms of their direction, (ii) "distribution" of pixel values of the reconstruction with respect to the input sample, while also incorporating (iii) "discriminability" in the feature learning pipeline. The proposed autoencoder model incorporates a Cosine similarity and Mahalanobis distance based loss function, along with supervision via Mutual Information based loss. Detailed analysis of each component of the proposed model motivates its applicability for feature learning in different classification tasks. The efficacy of Supervised COSMOS autoencoder is demonstrated via extensive experimental evaluations on different image datasets. The proposed model outperforms existing algorithms on MNIST, CIFAR-10, and SVHN databases. It also yields state-of-the-art results on CelebA, LFWA, Adience, and IJB-A databases for attribute prediction and face recognition, respectively.

연구 동기 및 목표

• 기존 오토인코더가 오직 유클리드 재구성 손실만 최적화하는 데에 한계가 있어 분류 작업에 최적화되지 않을 수 있다는 문제를 해결하기 위해.
• 방향 유사성(코사인 유사도), 분포 일치성(마할라노비스 거리) 및 구별 가능성 감독(상호정보량)을 통합하여 특징 학습을 향상시키기 위해.
• 일조, 자세 및 회전 변화에 대해 강건한 표현을 학습할 수 있는 통합 프레임워크를 개발하기 위해.
• 이미지 분류, 속성 예측 및 얼굴 인식을 포함한 다양한 벤치마크에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 모델은 입력과 재구성된 벡터 간의 코사인 유사도를 최적화하여 방향성 관계를 유지하는 다중목적 손실 함수를 사용한다.
• 입력과 재구성 간의 분포 유사성을 모델링하기 위해 마할라노비스 거리를 통합하여 국소 데이터 구조를 포착한다.
• 학습된 특징의 구별 가능성을 향상시키기 위해 상호정보량 기반의 손실을 감독 신호로 도입한다.
• 재구성, 방향성, 분포 일치 및 구별 가능성 목표를 병행하여 엔드 투 엔드로 학습한다.
• 타일링(tessellation)을 적용하여 이미지 패치에서 국소 특징을 추출하고, 이를 전역 특징과 융합하여 강건성을 향상시킨다.
• 다중 은닉층을 가진 딥 인코더-디코더 구조를 사용하며, 적응형 학습률을 활용한 backpropagation로 최적화한다.

실험 결과

연구 질문

• RQ1 재구성 손실에 방향 유사성(코사인)과 분포 유사성(마할라노비스)을 동시에 통합하면 분류를 위한 특징 품질이 향상되는가?
• RQ2 상호정보량을 감독 신호로 통합하면 오토인코더가 학습한 특징의 구별 가능성이 향상되는가?
• RQ3 타일링을 통한 국소(패치 기반) 및 전역(전체 이미지 기반) 표현 융합이 분류 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 COSMOS 손실이 기존의 유클리드 손실 및 기타 거리 측정 기반 조합보다 분류 벤치마크에서 우수한 성능을 내는가?

주요 결과

• Supervised COSMOS Autoencoder는 MNIST에서 최신 기준 성능을 달성하여 테스트 정확도가 98.92%에 도달한다.
• CIFAR-10에서 모델은 94.14%의 정확도를 기록하여 평가된 설정에서 기존 방법들을 능가한다.
• SVHN에서는 98.51%의 정확도를 달성하여 숫자 인식 작업 전반에 걸쳐 강력한 일반화 능력을 보여준다.
• CelebA에서는 속성 예측에서 93.98%의 정확도를 기록하여 기준 모델들을 크게 능가한다.
• ‘안경 착용’ 및 ‘타원형 얼굴’과 같은 속성에 대해 양성 및 음성 샘플 간 점수 겹침이 감소하여 분리 가능성 향상이 확인되었다.
• 타일링을 통합함으로써 CelebA와 SVHN에서 각각 약 2%의 성능 향상이 이루어져 국소-전역 특징 융합의 유용성을 확인한다.