[論文レビュー] Learning Flat Latent Manifolds with VAEs

Nutan Chen, Alexej Klushyn+3 more|arXiv (Cornell University)|Feb 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 50被引用数 4

ひとこと要約

本稿では、平坦なリーマン多様体としての潜在空間を正則化し、スケーリングされた単位行列を計量テンソルに設定することで、ユークリッド距離がデータ類似度の有効な代理指標となるようにするFlat Manifold Variational Autoencoders (FM-VAEs)を提案する。階層的事前分布とリーマン計量正則化を組み合わせることで、教師あり最先端手法に匹敵する性能を達成する非教師あり類似度学習を実現し、IDスイッチの発生が少なく、k-dツリーを用いた効率的な推論が可能となる。

ABSTRACT

Measuring the similarity between data points often requires domain knowledge, which can in parts be compensated by relying on unsupervised methods such as latent-variable models, where similarity/distance is estimated in a more compact latent space. Prevalent is the use of the Euclidean metric, which has the drawback of ignoring information about similarity of data stored in the decoder, as captured by the framework of Riemannian geometry. We propose an extension to the framework of variational auto-encoders allows learning flat latent manifolds, where the Euclidean metric is a proxy for the similarity between data points. This is achieved by defining the latent space as a Riemannian manifold and by regularising the metric tensor to be a scaled identity matrix. Additionally, we replace the compact prior typically used in variational auto-encoders with a recently presented, more expressive hierarchical one---and formulate the learning problem as a constrained optimisation problem. We evaluate our method on a range of data-sets, including a video-tracking benchmark, where the performance of our unsupervised approach nears that of state-of-the-art supervised approaches, while retaining the computational efficiency of straight-line-based approaches.

研究の動機と目的

• 標準VAEの限界、すなわち局所的なデータ変動を無視することで類似度推定が歪む、という点を是正すること。
• データ多様体が非ユークリッド的であるにもかかわらず、潜在空間におけるユークリッド距離が類似度の意味のある代理指標として機能するようにすること。
• 標準正規事前分布の代わりにより表現力の高い階層的事前分布を導入することで、非教師あり表現学習を向上させること。
• 平坦で準ユークリッド的である潜在幾何構造を強制することで、類似度検索における計算効率を確保すること。
• 教師あり手法に近い性能を、ラベルなしデータを必要としないリアルタイム応用（例：マルチオブジェクトトラッキング）で達成すること。

提案手法

• 潜在空間をリーマン多様体としてモデル化し、計量テンソルをスケーリングされた単位行列に正則化することで平坦性を強制する。
• 階層的事前分布を用い、グローバル事前分布は標準正規分布、ローカル事前分布はニューラルネットワークによって学習することで、表現の表現力の向上を図る。
• ELBOを最大化すると同時にリーマン計量制約を満たす制約付き最適化問題によりモデルを訓練する。
• デコーダのヤコビ行列を正則化し、計量テンソルが一定を保つようにすることで、潜在空間の平坦性を維持する。
• 結果として得られる潜在空間は準ユークリッド的構造を有するため、k-dツリーを用いた効率的な類似度検索が可能となる。
• 本手法は、画像および動画データセット、特にマルチオブジェクトトラッキングのMOT16ベンチマークを用いて評価されている。

実験結果

リサーチクエスチョン

• RQ1 潜在空間に平坦な多様体を学習させることで、ユークリッド距離がデータ類似度を正確に反映するVAEを訓練できるか？
• RQ2 標準正規事前分布を階層的事前分布に置き換えることで、非教師あり類似度学習における潜在表現の表現力が向上するか？
• RQ3 リーマン計量正則化により、ラベルなしデータを必要とせずに計算効率的かつ正確な類似度メトリクスを実現できるか？
• RQ4 提案手法の非教師あり性能は、リアルタイムトラッキングにおける教師あり最先端手法と比べてどの程度か？
• RQ5 平坦多様体制約は、標準VAEやベースライントラッカーと比較して、マルチオブジェクトトラッキングにおけるIDスイッチの発生をどの程度低減するか？

主な発見

• 提案手法VHP-FMVAE-SORTは、ベースラインSORTと比較してIDスイッチを2.48倍低減し、教師ありDeepSORTに近い性能を達成した。
• VHP-FMVAE-SORTはMOT16データセットでMOTA 59.7、MOTAL 59.7を達成し、教師ありDeepSORTのMOTA 60.8に近づいた。
• VHP-FMVAE-SORTは、教師ありDeepSORTよりもIDスイッチを2.2%さらに低減しており、優れた非教師あり一般化性能を示している。
• 平坦な潜在多様体により、k-dツリーを用いた近似最近傍探索が効率的に行えるようになり、リアルタイム応用を可能にした。
• 計量正則化なしのVHP-VAE-SORTより優れた性能を示しており、平坦性制約の重要性が裏付けられた。
• 視覚的例では、他の手法が失敗するオクルージョン状況でも、VHP-FMVAE-SORTは正しくトラックを再識別しており、オクルージョンや重複に対する耐性が確認された。