[論文レビュー] Stochastic Neighbor Embedding under f-divergences

Daniel Jiwoong Im, Nakul Verma+1 more|arXiv (Cornell University)|Nov 3, 2018

Video Surveillance and Tracking Methods参考文献 1被引用数 8

ひとこと要約

本稿は、t-SNEの目的関数をKullback-Leibler発散からより広いf発散のクラスへ一般化することで拡張し、多様体、クラスタ、階層構造といった多様なデータ構造をよりよく捉えることを可能にした。変分下界最適化法を導入し、標準的な勾配降下法を上回る性能を発揮し、複数の発散とデータセットにおいて高品質な埋め込み表現を達成した。

ABSTRACT

The t-distributed Stochastic Neighbor Embedding (t-SNE) is a powerful and popular method for visualizing high-dimensional data. It minimizes the Kullback-Leibler (KL) divergence between the original and embedded data distributions. In this work, we propose extending this method to other f-divergences. We analytically and empirically evaluate the types of latent structure-manifold, cluster, and hierarchical-that are well-captured using both the original KL-divergence as well as the proposed f-divergence generalization, and find that different divergences perform better for different types of structure. A common concern with $t$-SNE criterion is that it is optimized using gradient descent, and can become stuck in poor local minima. We propose optimizing the f-divergence based loss criteria by minimizing a variational bound. This typically performs better than optimizing the primal form, and our experiments show that it can improve upon the embedding results obtained from the original $t$-SNE criterion as well.

研究の動機と目的

• 異なるf発散が、クラスタ、多様体、階層構造といったt-SNEの内在的データ構造の可視化能力に与える影響を調査すること。
• t-SNEのKL発散目的関数の限界、特に再現率を重視し、非クラスタ構造では性能が低いことへの対処。
• f発散に基づくt-SNEの収束性と解の品質を向上させる変分下界最適化法の提案。
• 複数のf発散とカスタム発散定義をサポートする柔軟でオープンソースのフレームワーク（ft-SNE）の提供。
• t-SNEにおけるf発散最適化の原始形と双対形（変分形）の実証的比較。

提案手法

• f発散の凸共役関数を用いて、KL発散の代わりに任意のf発散をt-SNEに一般化し、新たな目的関数を定義。
• 凸共役関数から導出されるf発散の変分下界を最適化することで、最適化の安定性と収束性を向上。
• 双対形をモデル化するためのニューラルネットワークベースの識別器を採用し、勾配降下法によるエンドツーエンド学習を可能に。
• 二段階最適化スキームを採用：ハイパーパramータ J:K を用いて、埋め込み重みと識別器重みを交互に更新。
• 標準の5種類のf発散（KL、カイ二乗、逆KL、JS、ヘリンジャー）をサポートし、フレームワークを介してユーザー定義のf発散も可能。
• 近傍中心の精度・再現率分析を用いて、異なる発散における構造保存性の評価。

実験結果

リサーチクエスチョン

• RQ1 どのf発散が低次元埋め込みにおける多様体、クラスタ、階層構造の保存に最も効果的か？
• RQ2 収束性と解の品質の観点から、f発散最適化の変分双対形は原始形に比べてどのように異なるか？
• RQ3 変分下界の最適化は、原始目的関数に対する標準的勾配降下法に比べ、より優れたt-SNE埋め込みをもたらすか？
• RQ4 パープレキシティ、ネットワークの深さ、更新比（J:K）などのハイパーパramータが、変分f-t-SNE手法の性能に与える影響は？
• RQ5 提案されたフレームワークは、標準的なセットを超えた任意のf発散をサポートできるか？

主な発見

• 変分双対形（vft-SNE）は、KL発散でさえも、標準的な原始形（ft-SNE）よりも低い原始f発散損失を達成し、より良い局所最適解に収束することが示された。
• 小さなパープレキシティでは、vft-SNEはft-SNEに顕著に優れており、損失低減のギャップはパープレキシティが増加するにつれて小さくなる。
• 変分形の最適化により、KL、カイ二乗、ジェンセン・シャノンを含むすべてのf発散において、収束が速く、訓練がより安定した。
• 異なるf発散は異なる構造を強調する：KLとカイ二乗は局所構造（クラスタ）を重視し、逆KLはグローバル構造を強調する。
• JSとヘリンジャー発散は、精度と再現率のバランスを取っており、局所的およびグローバルな関係を効果的に捉えることができ、複雑でマルチスケールなデータに適している。
• ネットワークアーキテクチャ（深さと幅）は性能にほとんど影響を及ぼさないため、変分最適化スキームの堅牢性が示された。