[論文レビュー] Evidential Sparsification of Multimodal Latent Spaces in Conditional Variational Autoencoders

Masha Itkina, Boris Ivanovic+3 more|arXiv (Cornell University)|Oct 18, 2020

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本論文は、条件付き変動オートエンコーダー（CVAE）における離散的潜在空間に対して、証拠理論を用いた後処理スパース化手法を提案する。この手法により、マルチモーダル性を維持しつつ潜在サンプル空間を縮小できる。入力特徴からの直接的証拠が得られていない潜在クラスをフィルタリングすることで、性能を維持したまま顕著なスパarsityを達成し、推論効率が向上する。ソフトマックスおよびスパースマックスよりも、精度とスパarsityのバランスにおいて優れている。

ABSTRACT

Discrete latent spaces in variational autoencoders have been shown to effectively capture the data distribution for many real-world problems such as natural language understanding, human intent prediction, and visual scene representation. However, discrete latent spaces need to be sufficiently large to capture the complexities of real-world data, rendering downstream tasks computationally challenging. For instance, performing motion planning in a high-dimensional latent representation of the environment could be intractable. We consider the problem of sparsifying the discrete latent space of a trained conditional variational autoencoder, while preserving its learned multimodality. As a post hoc latent space reduction technique, we use evidential theory to identify the latent classes that receive direct evidence from a particular input condition and filter out those that do not. Experiments on diverse tasks, such as image generation and human behavior prediction, demonstrate the effectiveness of our proposed technique at reducing the discrete latent sample space size of a model while maintaining its learned multimodality.

研究の動機と目的

• 運動計画やマルチエージェント協調制御などのタスクに用いられるCVAEにおける高次元離散的潜在空間の計算的非実行可能性に対処すること。
• トレーニング後に行うことで、モデルが学習したマルチモーダル予測を損なわずに、離散的潜在サンプル空間のサイズを縮小すること。
• スパース化中に分布のマルチモーダル性を維持し、過剰なフィルタリング手法で見られる重要なモードの崩壊を回避すること。
• ハイパーパramータのチューニングや再トレーニングを必要とせず、スパarsityとマルチモーダル性の自動バランスを提供する手法を提供すること。
• 画像生成や人間行動予測などの下流タスクにおける解釈可能性と推論効率の向上すること。

提案手法

• 本手法は、学習されたネットワーク重みを介して入力特徴から直接証拠を受け取る潜在クラスを、デムプスター＝シャーマー証拠理論を用いて同定する。
• 信念質量関数を用いて、各潜在クラスの部分集合に対する証拠を定量化し、非単一集合は不確実性および矛盾を表す。
• マルチモーダル性の代理として、証拠の衝突を計算し、有意義な証拠支持力度を持つクラスのみを保持する。
• 再トレーニングや緩和技術を避けるために、元のソフトマックス出力から解析的にフィルタリングされた分布を導出する。
• ハイパーパramータのチューニングを回避するため、スパarsityを決定するのにネットワークの内部証拠構造に依存する。
• 事前にトレーニングされたCVAEに対して後処理として適用され、トレーニングプロセスを変更せずに即座に推論で利用可能になる。

実験結果

リサーチクエスチョン

• RQ1 証拠理論を用いて、CVAEにおける入力特徴からの直接的証拠が得られていない潜在クラスを同定・削除できるか？
• RQ2 証拠に基づくフィルタリングを用いた潜在空間のスパース化が、元の分布のマルチモーダル性を保持できるか？
• RQ3 推論性能とサンプル空間の縮小という観点から、本手法はソフトマックスおよびスパースマックスを上回るか？
• RQ4 運動計画などの下流タスクにおける潜在サンプル数を削減できるか、予測品質が低下しないか？
• RQ5 画像生成や人間の軌道予測といった多様なタスクにわたり、本手法は頑健であるか？

主な発見

• 提案手法は、平均して潜在空間サイズを30%削減したが、元のソフトマックスベースラインと同等の性能を維持した。
• フィルタリングされた分布はマルチモーダル性を保持しており、トップ5尤度の最小値が3.862 ± 0.419と安定しており、スパースマックスの4.360 ± 0.422と比較してモードの崩壊が見られなかった。
• 直接サンプリング指標（NLL、ADE、FDE）には顕著な劣化が認められず、NLLは4.686 ± 0.453、ADEは0.559 ± 0.001、FDEは1.142 ± 0.002であった。
• 直接およびトップ5サンプリング指標において、スパースマックスを上回ったことから、マルチモーダル構造のより良い保持が示された。
• ハイパーパramータのチューニングが不要であり、潜在空間サイズの削減に伴い推論が高速化された。画像生成および行動予測タスクにおいて一貫した性能を発揮した。
• 実証的結果から、過剰なフィルタリングで一般的に見られる偽陰性を回避でき、下流アプリケーションにおける安全性と信頼性を維持していることが確認された。