[論文レビュー] Deep Divergence Learning

Kubra Cilingir, Rachel Manzelli+1 more|OpenBU (Boston University)|May 6, 2020

Gaussian Processes and Bayesian Inference参考文献 32被引用数 6

ひとこと要約

この論文は、深層度量学習と関数的Bregman散発を統合する統一フレームワークとして、深層Bregman散発を導入し、ニューラルネットワークを用いて非ユークリッド的で分布に配慮した距離測度を学習する。この手法は、標準的なユークリッド距離を超えた非対称な散発を学習することで、ベンチマーク分類、クラスタリング、教師なし生成タスクにおいて最先端または競争力のある性能を達成する。

ABSTRACT

Classical linear metric learning methods have recently been extended along two distinct lines: deep metric learning methods for learning embeddings of the data using neural networks, and Bregman divergence learning approaches for extending learning Euclidean distances to more general divergence measures such as divergences over distributions. In this paper, we introduce deep Bregman divergences, which are based on learning and parameterizing functional Bregman divergences using neural networks, and which unify and extend these existing lines of work. We show in particular how deep metric learning formulations, kernel metric learning, Mahalanobis metric learning, and moment-matching functions for comparing distributions arise as special cases of these divergences in the symmetric setting. We then describe a deep learning framework for learning general functional Bregman divergences, and show in experiments that this method yields superior performance on benchmark datasets as compared to existing deep metric learning approaches. We also discuss novel applications, including a semi-supervised distributional clustering problem, and a new loss function for unsupervised data generation.

研究の動機と目的

• 一般の度量学習のための、微分可能な統一フレームワークとして、深層度量学習とBregman散発学習を統合すること。
• ニューラルネットワークを用いて非ユークリッド的で分布に基づく散発を学習し、下流タスクの性能を向上させること。
• 深層度量学習をユークリッド距離を超えて、確率分布同士の比較を扱えるように拡張すること。
• 学習された散発を用いた半教師付き分布クラスタリングと教師なしデータ生成における新規応用の開発。
• 非対称な深層Bregman散発が、標準ベンチマークにおいて対称な形式を上回ることを示すこと。

提案手法

• Bregman散発の生成凸関数を深層ニューラルネットワークでパrameter化し、散発のエンドツーエンド学習を可能にする。
• 関数入力に対する古典的Bregman散発の一般化としての関数的Bregman散発を用い、分布同士の比較を可能にする。
• 学習された深層Bregman散発に、標準的な深層度量学習の目的関数（トリプレット損失およびコントラスト損失）を適用してネットワークを訓練する。
• ディスクライマネーターが実データと生成データの間の深層Bregman散発を学習し、生成器がこの散発を最小化するGANに類似したフレームワークを構築する。
• 複数のデータセットに跨る学習率、ネットワークの深さ、バッチサイズなどのハイパーパrameterを最適化するためにベイズ最適化を用いる。
• ペairワイズの監督情報を用いて分布的データポイントのクラスタリングを誘導する、半教師付き分布クラスタリング手法を実装する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークを用いて、ユークリッド距離を超える一般関数的Bregman散発を学習可能か？
• RQ2 分類精度の観点から、深層Bregman散発は標準的な深層度量学習手法と比べてどのように差がつくか？
• RQ3 深層Bregman散発は、半教師付き分布クラスタリングタスクにおいて性能向上をもたらすか？
• RQ4 学習された深層Bregman散発は、教師なしデータ生成のための有効な損失関数として機能し、GANに匹敵する性能を示すか？
• RQ5 非対称な深層Bregman散発は、対称な形式に比べて測定可能な性能向上をもたらすか？

主な発見

• 提案された深層Bregman散発フレームワークは、MNIST、CIFAR10、SVHN、STL10、Fashion MNISTにおいて、標準的な深層度量学習をわずかだが有意に上回る精度を達成しており、特にトリプレット損失を用いた場合に顕著である。
• データオーグメンテーションを用いないFashion MNISTでは、94.23%の精度を達成し、この設定における現在の最先端性能を上回っている。
• ヒューマンアクティビティセンサデータセットおよびプロトタイプデータセットにおいて、既存のベースラインを上回る性能を示した半教師付き分布クラスタリングタスク。
• 定性的な結果から、学習された散発により、CelebAおよびMNISTでGANに類似したリアルな画像の生成が可能であり、コントラスト損失に基づく訓練で達成されている。
• このフレームワークは、マハラノビス度量学習、カーネル度量学習、MMDやウォッサーシュタイン距離のようなモーメントマッチング関数といった、既存の手法を自然に包含する。
• 実験的結果から、非対称な散発を深層Bregman散発で学習することで、複数の学習シナリオにおいて対称モデルに比べて性能上の利点が得られることが示唆されている。