[논문 리뷰] Learning to Approximate a Bregman Divergence

Ali Siahkamari, Xide Xia외 3명|OpenBU (Boston University)|2019. 05. 28.

Statistical Mechanics and Entropy참고 문헌 31인용 수 7

한 줄 요약

이 논문은 조각별 선형 함수를 사용하여 기저가 되는 볼록 생성 함수를 근사하는 방법을 제안하여 임의의 Bregman 산란도를 학습한다. 이는 선형이 아닌 산란도로의 마할라노비스 거리 학습 일반화를 가능하게 한다. 이 방법은 일반화 오차를 $\mathcal{O}_p(m^{-1/2})$로 달성하며, 선형 방법의 이론적 경계와 일치하고, UCI 벤치마크에서 클러스터링 및 랭킹 작업에서 기존 베이스라인을 능가한다.

ABSTRACT

Bregman divergences generalize measures such as the squared Euclidean distance and the KL divergence, and arise throughout many areas of machine learning. In this paper, we focus on the problem of approximating an arbitrary Bregman divergence from supervision, and we provide a well-principled approach to analyzing such approximations. We develop a formulation and algorithm for learning arbitrary Bregman divergences based on approximating their underlying convex generating function via a piecewise linear function. We provide theoretical approximation bounds using our parameterization and show that the generalization error $O_p(m^{-1/2})$ for metric learning using our framework matches the known generalization error in the strictly less general Mahalanobis metric learning setting. We further demonstrate empirically that our method performs well in comparison to existing metric learning methods, particularly for clustering and ranking problems.

연구 동기 및 목표

• 감독 데이터로부터 임의의 Bregman 산란도를 원칙적으로 학습할 수 있는 프레임워크를 개발하여 선형 거리 학습의 한계를 초월한다.
• Bregman 산란도의 기저가 되는 볼록 함수의 클래스를 이론적 분석과 실용적 최적화가 가능하도록 매개변수화하는 문제를 해결한다.
• 강력한 이론적 보장(예: 일반화 오차 경계)을 유지하면서 마할라노비스 거리 학습을 비선형 산란도로 일반화한다.
• 클러스터링, 랭킹, k-최근접 이웃 분류 작업에서의 실험적 검증을 통해 선형 및 비선형 베이스라인에 비해 뛰어난 성능을 보여준다.

제안 방법

• Bregman 산란도의 볼록 생성 함수 $\phi$ 는 최대 애핀(조각별 선형) 함수 $h(\mathbf{x}) = \max_{k \in [K]} \mathbf{a}_k^T \mathbf{x} + b_k$ 를 사용하여 매개변수화된다.
• 그러한 산란도는 $D_h(\mathbf{x}_1, \mathbf{x}_2) = h(\mathbf{x}_1) - h(\mathbf{x}_2) - \nabla h(\mathbf{x}_2)^T (\mathbf{x}_1 - \mathbf{x}_2)$ 로 근사되며, 기울기는 하위미분을 통해 계산된다.
• 이 프레임워크는 상대적 비교나 유사/비유사 쌍과 같은 감독 신호를 사용하여 볼록 최적화를 통해 학습이 가능하다.
• 이론적 분석에 따르면, 이 매개변수화 방식을 통한 Bregman 산란도 근사 오차는 $\mathcal{O}(K^{-1/d})$ 이며, 여기서 $d$ 는 입력 차원이다.
• 일반화 오차는 $\mathcal{O}_p(m^{-1/2})$ 로 경계가 되며, 마할라노비스 거리 학습의 알려진 경계와 일치한다.
• 이 방법은 유연한 프레임워크로, PBDL(Piecewise Linear Bregman Divergence Learning)로 구현되어 클러스터링, 랭킹, 최근접 이웃 분류에 적용 가능하다.

실험 결과

연구 질문

• RQ1 조각별 선형 함수가 임의의 Bregman 산란도를 이론적으로 탄탄하고 효과적으로 매개변수화할 수 있는가?
• RQ2 제안된 프레임워크는 잘 알려진 마할라노비스 거리 학습 설정과 유사한 일반화 오차를 달성하는가?
• RQ3 제안된 방법은 클러스터링 및 랭킹 작업에서 기존 선형 및 비선형 거리 학습 베이스라인과 비교해 어떻게 성능을 내는가?
• RQ4 마할라노비스 학습이 포착하지 못하는 비선형 산란도를 이 방법이 효과적으로 모델링할 수 있는가?

주요 결과

• 제안된 방법인 PBDL는 일반화 오차를 $\mathcal{O}_p(m^{-1/2})$ 로 달성하여 마할라노비스 거리 학습 설정의 이론적 경계와 일치한다.
• 조각별 선형 함수를 통한 Bregman 산란도 근사 오차는 $\mathcal{O}(K^{-1/d})$ 로 경계가 되며, 선형 조각 수가 증가함에 따라 수렴하는 것을 보여준다.
• 30개의 UCI 벤치마크 데이터셋에서, PBDL는 클러스터링, 랭킹, k-NN 정확도 분야에서 총 30개 중 22개에서 1위 또는 2위를 기록하며 선형 및 비선형 베이스라인을 모두 능가한다.
• 클러스터링 및 랭킹 작업에서 PBDL는 평균 Rand 지수 94.5% 및 AUC 93.5% 를 달성하여 여러 데이터셋에서 ITML 및 LMNN 보다 뚜렷이 뛰어나다.
• 와인 데이터셋에서 PBDL는 96.5% 의 k-NN 정확도를 기록하여 GMML 및 커널 NCA를 포함한 모든 다른 방법을 능가한다.
• 실험 결과는 PBDL가 선형 방법(예: ITML)이 포착하지 못하는 복잡한 비선형 데이터 구조를 효과적으로 모델링할 수 있음을 보여주며, 이는 시뮬레이션된 산란도 근사 실험을 통해 입증되었다.