[논문 리뷰] A scaled Bregman theorem with applications

Richard Nock, Aditya Krishna Menon외 1명|arXiv (Cornell University)|2016. 07. 01.

Statistical Mechanics and Entropy참고 문헌 34인용 수 4

한 줄 요약

이 논문은 비볼록성과 비대칭성을 가진 왜곡(예: 곡면 위의 지오데식 거리 또는 게이지 정규화된 투영)을 변환된 데이터 위의 스케일링된 브레그만 발산으로 정확히 재표현하는 새로운 항등식인 스케일링된 브레그만 정리(_scaled Bregman theorem_)를 제안한다. 주요 기여는 이전의 브레그만 기반 축소 기법을 일반화하여 복잡한 학습 문제를 브레그만 최소화 프레임워크로 정확히 재구성함으로써, 브레그만 발산의 풍부한 분석적 성질을 활용해 다중클래스 밀도 비율 추정, 적응형 미러 디센트, 곡면 클러스터링 등의 알고리즘 설계 및 분석을 향상시키는 데 있다.

ABSTRACT

Bregman divergences play a central role in the design and analysis of a range of machine learning algorithms. This paper explores the use of Bregman divergences to establish reductions between such algorithms and their analyses. We present a new scaled isodistortion theorem involving Bregman divergences (scaled Bregman theorem for short) which shows that certain "Bregman distortions'" (employing a potentially non-convex generator) may be exactly re-written as a scaled Bregman divergence computed over transformed data. Admissible distortions include geodesic distances on curved manifolds and projections or gauge-normalisation, while admissible data include scalars, vectors and matrices. Our theorem allows one to leverage to the wealth and convenience of Bregman divergences when analysing algorithms relying on the aforementioned Bregman distortions. We illustrate this with three novel applications of our theorem: a reduction from multi-class density ratio to class-probability estimation, a new adaptive projection free yet norm-enforcing dual norm mirror descent algorithm, and a reduction from clustering on flat manifolds to clustering on curved manifolds. Experiments on each of these domains validate the analyses and suggest that the scaled Bregman theorem might be a worthy addition to the popular handful of Bregman divergence properties that have been pervasive in machine learning.

연구 동기 및 목표

• 비볼록 생성자 $ \boldsymbol{\nu} $를 갖는 임의의 왜곡을 스케일링된 브레그만 발산으로 재기록하는 새로운 항등식을 도입함으로써 기존의 브레그만 기반 축소 기법을 일반화한다.
• 다중클래스 밀도 비율 추정, 투영 없는 미러 디센트, 곡면 위의 클러스터링과 같은 다양한 학습 문제들을 공통의 브레그만 발산 프레임워크로 통합한다.
• 원래의 왜곡이 볼록성이나 대칭성을 만족하지 않더라도 잘 알려진 브레그만 발산 성질(예: 삼각 부등식, 쌍대 대칭성, 중심점 최소화)을 사용할 수 있도록 한다.
• 복잡한 비브레그만 유사 거리들을 브레그만 형태로 변환하는 이론적 기반을 제공함으로써 분석과 알고리즘 설계를 단순화한다.

제안 방법

• 비볼록 생성자 $ \boldsymbol{\nu} $를 갖는 왜곡 $ D_{\boldsymbol{\nu}} $가 변환된 데이터 위에서 스케일링된 브레그만 발산으로 정확히 재기록될 수 있음을 보여주는 새로운 항등식인 스케일링된 브레그만 정리를 제안한다. 이는 $ D_{\boldsymbol{\nu}}(\mathbf{x} \| \mathbf{y}) = g(\mathbf{x}) \cdot D_{\varphi}(\mathbf{x}/g(\mathbf{x}) \| \mathbf{y}/g(\mathbf{y})) $ 로 표현되며, 여기서 $ g $ 는 게이지 함수이다.
• 브레그만 항등식과 베이즈의 정리를 활용하여 다중클래스 밀도 비율 추정 문제를 다중클래스 클래스 확률 추정 문제로 재구성한다.
• 스케일링된 브레그만 구조를 활용하여 반복값과 오프셋의 노름을 모두 강제하는 새로운 적응형, 투영 없는 미러 디센트 알고리즘을 개발하며, 새로운 프레임워크 하에서 수렴 보장을 유지한다.
• 이 정리를 활용하여 평탄한 다각형 클러스터링 시딩을 곡면으로 일반화함으로써, 곡면 위의 지오데식 거리가 적절한 좌표 상승을 통해 브레그만 발산으로 임베딩될 수 있음을 보여준다.
• 브레그만 발산의 테일러 전개를 활용하여 이 정리가 변환된 공간과 원래 공간 사이의 매개변수에 의존하는 적응형等거리성(이sovmetry)에 해당함을 밝혀낸다.
• 다중클래스 밀도 비율 추정, 온라인 최적화, 클러스터링에 대한 실험을 통해 이론적 프레임워크의 타당성을 검증하였으며, 개선된 성능과 이론적 일관성을 입증하였다.

실험 결과

연구 질문

• RQ1 곡면 위의 지오데식 거리와 같이 비볼록성과 비대칭성을 가진 왜곡이 데이터 변환을 통해 정확히 브레그만 발산으로 재구성될 수 있는가?
• RQ2 스케일링된 브레그만 정리는 이전에 상호비례하지 않던 학습 문제들, 예를 들어 다중클래스 밀도 비율 추정과 다중클래스 클래스 확률 추정 사이의 축소를 가능하게 하는가?
• RQ3 이 정리를 활용하여 투영이 없는 同시로 노름을 강제하는 새로운 최적화 알고리즘을 설계할 수 있으며, 이때 수렴 보장이 유지되는가?
• RQ4 곡면 위의 클러스터링 알고리즘이 이 변환을 통해 평탄한 다각형의 경우와 동일한 근사 보장을 상속할 수 있는 정도는 어느 정도인가?
• RQ5 스케일링된 브레그만 항등식은 이전의 브레그만 기반 축소 기법들, 예를 들어 이진 밀도 비율 추정에서 클래스 확률 추정으로의 축소 기법(예: Menon and Ong, 2016)을 일반화하는가?

주요 결과

• 스케일링된 브레그만 정리는 비볼록 생성자 $ \boldsymbol{\nu} $를 갖는 왜곡을 변환된 데이터 위의 스케일링된 브레그만 발산으로 정확히 재기록하는 항등식을 확립하여, 비표준 설정에서도 브레그만의 분석적 성질을 활용할 수 있도록 한다.
• 이 정리는 Menon와 Ong(2016)의 이진 밀도 비율 추정에서 클래스 확률 추정으로의 축소 기법을 다중클래스로 일반화하며, 다중클래스 밀도 비율 추정 문제를 브레그만 항등식을 통해 다중클래스 클래스 확률 추정 문제로 축소할 수 있음을 보여준다.
• 스케일링된 브레그만 구조를 활용하여 반복값과 오프셋의 노름을 동시에 강제하는 새로운 적응형, 투영 없는 미러 디센트 알고리즘을 제안하며, 새로운 프레임워크 하에서 이론적 수렴 보장을 확보한다.
• 양의 또는 음의 곡률을 가진 곡면을 대상으로 하는 새로운 클러스터링 시딩 방법을 개발하였으며, 평탄한 다각형의 시딩 절차를 상승시켜 동일한 근사 보장을 유지한다.
• 실험 결과는 세 응용 분야에서 이론적 주장이 검증되었음을 입증한다: 다중클래스 밀도 비율 추정의 경우 추정 정확도가 향상되었고, 온라인 학습에서의 적응형 미러 디센트 알고리즘은 기준 방법보다 뛰어난 성능을 보였다. 또한 곡면 위의 클러스터링 시딩은 뛰어난 성능을 유지하였다.
• 이론적 분석을 통해 이 변환이 생성자의 헤시안을 통해 원래 공간과 변환된 공간의 거리를 연결하는 매개변수에 의존하는 적응형 등거리성에 해당함을 밝혀냈다.