[論文レビュー] Rate-Distortion Optimization Guided Autoencoder for Isometric Embedding in Euclidean Latent Space

Keizo Kato, Jing Zhou+2 more|arXiv (Cornell University)|Oct 9, 2019

Generative Adversarial Networks and Image Synthesis参考文献 43被引用数 8

ひとこと要約

本稿では、入力空間と潜在空間間のヤコビ行列を常にスケーリングされた正規直交行列として強制することにより、ユークリッド潜在空間内での等長埋め込みを達成する、レート・ディストーション最適化を指針とする自己符号化器、RaDOGAGAを提案する。レート・ディストーション理論および正規直交変換符号化の原則を活用することで、入力空間と潜在空間間の確率密度関数（PDF）の関係を容易に取り扱えるようにし、4つの公開データセットにおいて最先端の手法よりも顕著に、教師なし異常検出性能を向上させた。

ABSTRACT

To analyze high-dimensional and complex data in the real world, deep generative models, such as variational autoencoder (VAE) embed data in a low-dimensional space (latent space) and learn a probabilistic model in the latent space. However, they struggle to accurately reproduce the probability distribution function (PDF) in the input space from that in the latent space. If the embedding were isometric, this issue can be solved, because the relation of PDFs can become tractable. To achieve isometric property, we propose Rate- Distortion Optimization guided autoencoder inspired by orthonormal transform coding. We show our method has the following properties: (i) the Jacobian matrix between the input space and a Euclidean latent space forms a constantlyscaled orthonormal system and enables isometric data embedding; (ii) the relation of PDFs in both spaces can become tractable one such as proportional relation. Furthermore, our method outperforms state-of-the-art methods in unsupervised anomaly detection with four public datasets.

研究の動機と目的

• 変分自己符号化器（VAEs）が非等長の潜在空間埋め込みにより、入力空間の確率密度関数（PDF）を正確に再現できないという限界を解消すること。
• 高次元データを低次元のユークリッド潜在空間に等長埋め込みする理論的かつ実用的なフレームワークを確立すること。
• 正規直交ヤコビ行列構造によって促進される、入力空間と潜在空間のPDF間の比例関係を活用し、入力空間における容易なPDF推定を可能にすること。
• 潜在空間で計算された尤度が入力空間の尤度を正確に反映するように保証することで、教師なし異常検出性能を向上させること。
• 深層生成モデルとレート・ディストーション理論を統合し、RDOの原則が正規直交的・等長的な表現へ向かうように自己符号化器を誘導することを示すこと。

提案手法

• 入力空間と潜在空間間のヤコビ行列が常にスケーリングされた正規直交系を形成するように導く、レート・ディストーション最適化（RDO）の目的関数を定式化する。
• ヤコビ行列の正規直交性により、等長埋め込みが保証され、入力空間の距離が定数スケーリング要因を除いて潜在空間に保存される。
• 潜在空間はユークリッド空間に制約され、ガウス・ミックスチャネル（GMM）やパラメトリック分布などの標準的なPDF推定技術が使用可能になる。
• RDO目的関数は、再構成誤差とエンコーダーのヤコビアンの正規直交性を強制する正則化項のバランスを取る微分可能損失関数として実装される。
• ハイパーパrameterはデータセットごとに最適化され、エポックごとに早期停止とモデルチェックポイントを用いて、エンド・ツー・エンドで訓練される。
• 入力空間では、バイナリデータ向けのBCEや画像向けのSSIMなどの柔軟なメトリクス関数をサポートし、多様なデータタイプに適応可能である。

実験結果

リサーチクエスチョン

• RQ1 自己符号化器におけるレート・ディストーション最適化が、常にスケーリングされた正規直交ヤコビアンを強制し、ユークリッド潜在空間への等長埋め込みを可能にするか？
• RQ2 等長埋め込みが、入力空間と潜在空間の確率密度関数（PDF）間の容易な比例関係を可能にするか？
• RQ3 このような幾何学的に忠実な潜在表現が、非等長のVAEベース手法と比較して、教師なし異常検出の精度を向上させるか？
• RQ4 本手法は、高次元画像や混合特徴タイプを持つ表形式データを含む多様なデータタイプに対して、堅牢性を示すか？
• RQ5 RDOガイドドの訓練目的関数が、深層自己符号化器においてどの程度、正規直交ヤコビアン構造を生成するか？

主な発見

• RaDOGAGAは、KDDCUP99、Thyroid、Arrhythmia、KDDCUP-revの4つの公開データセットにおいて、教師なし異常検出で最先端の性能を達成した。
• KDDCUP99データセットでは、F1スコアが0.9531（±0.0017）を達成し、DAGMMの0.9369を上回った。
• Thyroidデータセットでは、F1スコアが0.5851（±0.0459）を達成し、DAGMMの0.4782を顕著に上回った。
• KDDCUP-revデータセットでは、F1スコアが0.9795（±0.0036）を達成し、DAGMMの0.938を上回った。
• ネットワーク容量を以前の研究と同等に制限した状況でも、すべてのデータセットで精度、再現率、F1スコアのすべての指標で一貫した改善が見られた。
• アブレーションスタディにより、正規直交ヤコビアン構造が正しく学習されていることが確認され、等長埋め込みの理論的基盤が妥当であることが裏付けられた。