[논문 리뷰] Deep Divergence Learning

Kubra Cilingir, Rachel Manzelli외 1명|OpenBU (Boston University)|2020. 05. 06.

Gaussian Processes and Bayesian Inference참고 문헌 32인용 수 6

한 줄 요약

이 논문은 딥 메트릭 학습과 기능적 브레그만 발산을 결합하여 비유클리드적이고 분포 인식 거리 측도를 신경망을 통해 학습할 수 있는 통합 프레임워크인 딥 브레그만 발산을 소개한다. 이 방법은 표준 유클리드 거리 외의 비대칭 발산을 학습하여 분류, 클러스터링 및 비지도 생성 작업에서 최신 기준 수준 또는 경쟁 가능한 성능을 달성한다.

ABSTRACT

Classical linear metric learning methods have recently been extended along two distinct lines: deep metric learning methods for learning embeddings of the data using neural networks, and Bregman divergence learning approaches for extending learning Euclidean distances to more general divergence measures such as divergences over distributions. In this paper, we introduce deep Bregman divergences, which are based on learning and parameterizing functional Bregman divergences using neural networks, and which unify and extend these existing lines of work. We show in particular how deep metric learning formulations, kernel metric learning, Mahalanobis metric learning, and moment-matching functions for comparing distributions arise as special cases of these divergences in the symmetric setting. We then describe a deep learning framework for learning general functional Bregman divergences, and show in experiments that this method yields superior performance on benchmark datasets as compared to existing deep metric learning approaches. We also discuss novel applications, including a semi-supervised distributional clustering problem, and a new loss function for unsupervised data generation.

연구 동기 및 목표

• 일반적인 메트릭 학습을 위한 유일한 미분 가능한 프레임워크로 딥 메트릭 학습과 브레그만 발산 학습을 통합하는 것.
• 신경망을 사용하여 비유클리드적이고 분포 기반의 발산을 학습하여 최종 작업 성능을 향상시키는 것.
• 딥 메트릭 학습을 유클리드 거리 외의 확률 분포 간 비교를 처리할 수 있도록 확장하는 것.
• 학습된 발산을 활용한 준지도형 분포 기반 클러스터링 및 비지도 데이터 생성 분야의 새로운 응용을 개발하는 것.
• 비대칭 딥 브레그만 발산이 표준 기준 벤치마크에서 대칭 형식보다 뛰어난 성능을 보이는지 입증하는 것.

제안 방법

• 딥 신경망을 사용해 브레그만 발산의 생성 볼록 기능을 매개변수화하여, 발산의 엔드 투 엔드 학습을 가능하게 하는 것.
• 기존의 브레그만 발산을 함수 입력으로 일반화한 기능적 브레그만 발산을 사용하여 분포 간 비교를 가능하게 하는 것.
• 학습된 딥 브레그만 발산에 표준 딥 메트릭 학습 목표(트리플릿 및 콘트라스트 레이스)를 적용하여 네트워크를 훈련시키는 것.
• 판별자와 생성자가 각각 실재 데이터와 생성된 데이터 간의 딥 브레그만 발산을 학습하는 GAN 유사 프레임워크를 설계하는 것.
• 여러 데이터셋에서 학습률, 네트워크 깊이, 배치 크기 등의 하이퍼파라미터를 베이지안 최적화를 통해 튜닝하는 것.
• 쌍별 지도 정보를 활용해 분포 기반 데이터 포인트의 클러스터링을 이끄는 준지도형 분포 기반 클러스터링 방법을 구현하는 것.

실험 결과

연구 질문

• RQ1 딥 신경망을 사용해 유클리드 거리 외의 일반적인 기능적 브레그만 발산을 학습할 수 있는가?
• RQ2 딥 브레그만 발산은 분류 정확도 측면에서 표준 딥 메트릭 학습 방법과 비교해 어떻게 성능을 내는가?
• RQ3 딥 브레그만 발산은 준지도형 분포 기반 클러스터링 작업에서 성능 향상을 이끌 수 있는가?
• RQ4 학습된 딥 브레그만 발산은 GAN과 경쟁할 수 있는 비지도 데이터 생성을 위한 효과적인 손실 함수로 활용될 수 있는가?
• RQ5 비대칭 딥 브레그만 발산은 대칭 형식 대비 측정 가능한 성능 향상을 제공하는가?

주요 결과

• 제안된 딥 브레그만 발산 프레임워크는 MNIST, CIFAR10, SVHN, STL10, 패션 MNIST에서 표준 딥 메트릭 학습보다 작은 성능 향상을 달성했으며, 특히 트리플릿 손실에서 두드러진다.
• 데이터 증강 없이 패션 MNIST에서 94.23%의 정확도를 기록하여 이 설정에서 현재 최고 성능을 초월한다.
• 인간 활동 센서 데이터셋과 개념 증명용 데이터셋에서 준지도형 분포 기반 클러스터링에서 기존 베이스라인을 능가한다.
• 정성적 결과는 학습된 발산이 콘트라스트 레이스 기반 훈련 목표를 사용해 셀레브라A와 MNIST에서 현실적인 이미지를 생성하는 데 성공했으며, GAN과 유사한 성능를 보임을 보여준다.
• 이 프레임워크는 마할라노비스 메트릭 학습, 커널 메트릭 학습, MMD 및 워샤르슈타인 거리와 같은 모멘트 매칭 함수와 같은 기존 방법들을 자연스럽게 포함한다.
• 실험 결과 비대칭 발산을 학습한 딥 브레그만 발산이 여러 학습 시나리오에서 대칭 모델 대비 성능 우위를 보임을 시사한다.