[論文レビュー] TVAE: Triplet-Based Variational Autoencoder using Metric Learning

Haque Ishfaq, Assaf Hoogi+1 more|arXiv (Cornell University)|Feb 13, 2018

Domain Adaptation and Few-Shot Learning参考文献 7被引用数 12

ひとこと要約

本稿では、三つ組み損失（triplet loss）を標準的な変分オートエンコーダー（VAE）の目的関数と併用することで、深層メトリクス学習を変分オートエンコーダーに統合する新しいフレームワーク、三つ組みベースの変分オートエンコーダー（TVAE）を提案する。画像の三つ組み（基準画像、正例、負例）を用いて学習することで、意味的類似性を保持するより構造的で細分化された潜在空間を学習でき、MNISTでは95.60%の三つ組み精度を達成し、標準VAE（75.08%）を著しく上回る性能を示した。

ABSTRACT

Deep metric learning has been demonstrated to be highly effective in learning semantic representation and encoding information that can be used to measure data similarity, by relying on the embedding learned from metric learning. At the same time, variational autoencoder (VAE) has widely been used to approximate inference and proved to have a good performance for directed probabilistic models. However, for traditional VAE, the data label or feature information are intractable. Similarly, traditional representation learning approaches fail to represent many salient aspects of the data. In this project, we propose a novel integrated framework to learn latent embedding in VAE by incorporating deep metric learning. The features are learned by optimizing a triplet loss on the mean vectors of VAE in conjunction with standard evidence lower bound (ELBO) of VAE. This approach, which we call Triplet based Variational Autoencoder (TVAE), allows us to capture more fine-grained information in the latent embedding. Our model is tested on MNIST data set and achieves a high triplet accuracy of 95.60% while the traditional VAE (Kingma & Welling, 2013) achieves triplet accuracy of 75.08%.

研究の動機と目的

• 標準VAEが潜在表現における微細な意味的構造を捉える能力に制限を抱えていることに対処すること。
• VAEの学習に深層メトリクス学習を統合し、学習された埋め込みの質を向上させること。
• 特にリソースが限られた状況や極端な分類タスクにおいて、データポイント間の相対的な類似関係を維持できるようにすること。
• 再構築損失、KLダイバージェンス、および三つ組み損失を組み合わせることで、表現学習と生成性能の両方を向上させること。
• 提案手法が画像生成品質を損なうことなく、潜在空間における意味的構造を向上させることを実証すること。

提案手法

• モデルは、三つの入力を共有エンコーダーとデコーダーを持つ標準的なVAEアーキテクチャを採用している。
• エンコーダーは入力画像を潜在平均ベクトルにマップし、それらの相対的距離に基づいて三つ組み損失を計算する。
• 三つ組み損失は $\mathcal{L}_{triplet} = \max\{0, ||f(x_a) - f(x_p)||_2 - ||f(x_a) - f(x_n)||_2 + m\}$ で定義され、$m$ はマージンである。
• 総損失は $\mathcal{L}_{TVAE} = \mathcal{L}_{rec} + \mathcal{L}_{KL} + \mathcal{L}_{triplet}$ で、再構築損失、KLダイバージェンス、三つ組み損失を組み合わせたものである。
• 学習中に、基準画像が正例よりも負例よりも類似しているように三つ組みがサンプリングされる。
• バックプロパゲーションを用いて、結合損失関数を最小化するようにエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 三つ組みベースのメトリクス学習をVAEに統合することで、学習された潜在表現の意味的構造が向上するか？
• RQ2 提案されたTVAEフレームワークは、標準VAEと比較して、データポイント間の相対的な類似関係をより効果的に維持できるか？
• RQ3 TVAEは、潜在空間の解釈可能性と構造を向上させつつ、高品質な画像生成を維持できるか？
• RQ4 三つ組み損失の導入が、潜在空間におけるクラスのクラスタリングと分離にどのように影響するか？
• RQ5 MNISTなどのベンチマークデータセットにおいて、TVAEは標準VAEに比べて、微細なデータ類似性をどの程度うまく捉えられるか？

主な発見

• TVAEはMNISTテストセットで95.60%の三つ組み精度を達成し、潜在空間における相対的類似性の保持が顕著に優れていることを示している。
• 標準VAEはたったの75.08%の三つ組み精度にとどまり、類似性保持の面で顕著な性能差が確認された。
• t-SNE可視化では、TVAEが標準VAEと比較して、異なる数字クラスのクラスタがよりコンパクトで明確に分離されていることがわかった。
• TVAEの潜在平均ベクトルは、クラス間の重なりを減らし、クラス内での断片化を抑えるなど、より構造的で散らばりが少ない特徴を示している。
• TVAEによる再構築画像の品質は、標準VAEと同等であり、生成能力に劣化がないことが示された。
• 三つ組み損失の追加により、VAEの入力画像再構築能力を損なうことなく、潜在空間の解釈可能性が向上した。