[論文レビュー] A scaled Bregman theorem with applications

Richard Nock, Aditya Krishna Menon+1 more|arXiv (Cornell University)|Jul 1, 2016

Statistical Mechanics and Entropy参考文献 34被引用数 4

ひとこと要約

本稿では、非凸的・非対称的な歪み（例：曲がった多様体上の測地線距離やゲージ正規化投影）を、変換されたデータ上のスケーリング付きBregman発散度として正確に再表現する、スケーリング付きBregman定理を導入する。主な貢献は、従来のBregmanに基づく還元の一般化であり、複雑な学習問題をBregman最小化フレームワークに正確に再定式化可能にすることで、多クラス密度比推定、適応的ミラー降下、多様体クラスタリングの分野におけるアルゴリズム設計および解析に、Bregman発散度の豊富な解析的性質を活用できるようにする。

ABSTRACT

Bregman divergences play a central role in the design and analysis of a range of machine learning algorithms. This paper explores the use of Bregman divergences to establish reductions between such algorithms and their analyses. We present a new scaled isodistortion theorem involving Bregman divergences (scaled Bregman theorem for short) which shows that certain "Bregman distortions'" (employing a potentially non-convex generator) may be exactly re-written as a scaled Bregman divergence computed over transformed data. Admissible distortions include geodesic distances on curved manifolds and projections or gauge-normalisation, while admissible data include scalars, vectors and matrices. Our theorem allows one to leverage to the wealth and convenience of Bregman divergences when analysing algorithms relying on the aforementioned Bregman distortions. We illustrate this with three novel applications of our theorem: a reduction from multi-class density ratio to class-probability estimation, a new adaptive projection free yet norm-enforcing dual norm mirror descent algorithm, and a reduction from clustering on flat manifolds to clustering on curved manifolds. Experiments on each of these domains validate the analyses and suggest that the scaled Bregman theorem might be a worthy addition to the popular handful of Bregman divergence properties that have been pervasive in machine learning.

研究の動機と目的

• 非凸的生成子 $ \boldsymbol{\nu} $ を用いて定義される歪みを、スケーリング付きBregman発散度として正確に再表現する新しい恒等式を導入することで、既存のBregmanに基づく還元を一般化すること。
• 多クラス密度比推定、プロジェクションフリーのミラー降下、曲がった多様体上のクラスタリングといった多様な学習問題を、共通のBregman発散度フレームワークに統一すること。
• 元の歪みが凸性や対称性を満たさない状況においても、Bregman発散度のwell-establishedな性質（例：三角不等式、双対対称性、重心最小化）を活用できるようにすること。
• 複雑でBregman型でない距離をBregman形式に変換する理論的基盤を提供し、解析およびアルゴリズム設計を簡素化すること。

提案手法

• 非凸的生成子 $ \boldsymbol{\nu} $ を用いて定義される歪み $ D_{\boldsymbol{\nu}} $ が、関数 $ g $（ゲージ関数）を用いて $ D_{\boldsymbol{\nu}}(\mathbf{x} \| \mathbf{y}) = g(\mathbf{x}) \cdot D_{\varphi}(\mathbf{x}/g(\mathbf{x}) \| \mathbf{y}/g(\mathbf{y})) $ として正確にBregman発散度に再表現可能であるという、新しい恒等式、すなわちスケーリング付きBregman定理を提唱する。
• Bregman恒等式とベイズの定理を活用して、多クラス密度比推定問題を多クラスクラス確率推定問題に再定式化する。
• スケーリング付きBregman構造を用いて、反復点とオフセットの両方のノルムを強制する、新たな適応的・プロジェクションフリーのミラー降下アルゴリズムを開発し、新しいフレームワーク下での収束保証を維持する。
• 定理を用いて、平坦な多様体上のクラスタリング初期化手法を曲がった多様体に一般化する。具体的には、適切な座標の上昇を介して、このような多様体上の測地線距離がBregman発散度として埋め込めることが示される。
• Bregman発散度のテイラー展開を用いて、定理が変換済み空間と元の空間の間のパラメータ依存的・適応的等長写像に対応していることを明らかにする。
• 多クラス密度比推定、オンライン最適化、クラスタリングの実験を通じて理論的枠組みを検証し、性能向上と理論的一致性を示す。

実験結果

リサーチクエスチョン

• RQ1 曲がった多様体上の測地線距離のような非凸的・非対称的歪みが、データ変換を介して正確にBregman発散度に再定式化可能か。
• RQ2 スケーリング付きBregman定理が、もともとは不整合な学習問題（例：多クラス密度比推定と多クラスクラス確率推定）の間の還元を可能にするか。
• RQ3 この定理を用いて、収束保証を維持しつつ、プロジェクションフリーかつノルムを強制する新たな最適化アルゴリズムを設計可能か。
• RQ4 曲がった多様体上のクラスタリングアルゴリズムが、この変換によって平坦多様体上でのそれらの近似保証をどの程度継承できるか。
• RQ5 スケーリング付きBregman恒等式は、二値密度比推定からクラス確率推定への還元（MenonとOng, 2016）といった、従来のBregmanに基づく還元を一般化するものか。

主な発見

• スケーリング付きBregman定理は、非凸的生成子 $ \boldsymbol{\nu} $ を用いて定義される歪みを、変換されたデータ上のスケーリング付きBregman発散度として正確に再表現する恒等式を確立し、標準的でない設定においてもBregmanの解析的性質を活用可能にする。
• この定理により、MenonとOng (2016) の二値密度比からクラス確率への還元が、多クラスへ一般化され、多クラス密度比推定問題がBregman恒等式を介して多クラスクラス確率推定問題に還元可能であることが示された。
• 反復点とオフセットの両方のノルムを強制する、新たな適応的・プロジェクションフリーのミラー降下アルゴリズムが提案され、新しいフレームワーク下で理論的収束保証が得られる。
• 正または負の曲率を持つ多様体に対して、平坦多様体上の初期化手順を上昇させることで、新たなクラスタリング初期化手法が開発され、ユークリッド空間におけるそれと同等の近似保証を維持する。
• 実験により、すべての3つの応用分野で理論的主張が妥当であることが検証された：多クラス密度比推定における還元は推定精度の向上を示し、適応的ミラー降下アルゴリズムはオンライン学習においてベースライン手法を上回る性能を示した。また、曲がった多様体上のクラスタリング初期化は高い性能を維持した。
• 理論的解析により、変換が生成子のヘッセ行列を通じて元の空間と変換済み空間の距離を結ぶ、パラメータ依存的・適応的等長写像に対応していることが明らかになった。