[論文レビュー] A Classification Supervised Auto-Encoder Based on Predefined Evenly-Distributed Class Centroids

Qiuyu Zhu, Ruixin Zhang|arXiv (Cornell University)|Feb 1, 2019

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 23

ひとこと要約

本稿では、特徴の凝縮性とクラス間分離性を向上させるために、事前に定義された均等に分布したクラス重心（PEDCC）を用いる分類教師ありオートエンコーダ（CSAE）を提案する。潜在変数を直接分類と再構成に使用し、ウェーブレットベースの損失関数とノイズ注入を組み合わせることで、MNIST、Fashion-MNIST、EMNIST データセットにおいて優れた画像品質と分類精度を達成する。

ABSTRACT

Classic variational autoencoders are used to learn complex data distributions, that are built on standard function approximators. Especially, VAE has shown promise on a lot of complex task. In this paper, a new autoencoder model - classification supervised autoencoder (CSAE) based on predefined evenly-distributed class centroids (PEDCC) is proposed. Our method uses PEDCC of latent variables to train the network to ensure the maximization of inter-class distance and the minimization of inner-class distance. Instead of learning mean/variance of latent variables distribution and taking reparameterization of VAE, latent variables of CSAE are directly used to classify and as input of decoder. In addition, a new loss function is proposed to combine the loss function of classification. Based on the basic structure of the universal autoencoder, we realized the comprehensive optimal results of encoding, decoding, classification, and good model generalization performance at the same time. Theoretical advantages are reflected in experimental results.

研究の動機と目的

• オートエンコーダベースの表現学習における特徴の凝縮性とクラス間分離性を向上させること。
• 変分推論に依存せずに、分類と再構成を統合した一貫したオートエンコーダフレームワークを構築すること。
• ウェーブレットベースの損失関数を用いてエッジのぼやけを最小限に抑えることで、画像品質を向上させること。
• 訓練中に潜在特徴にガウスノイズを注入することで、汎化性能とロバストネスを向上させること。
• 事前に定義された均等に分布したクラス重心が、エンドツーエンドの訓練を効果的に導くことの有効性を示すこと。

提案手法

• 潜在空間におけるクラス間距離を最大化し、クラス内距離を最小化するために、事前に定義された均等に分布したクラス重心（PEDCC）を導入する。
• 変分推論や再パrameterizationを回避し、エンコーダ出力を直接分類と復元のための潜在表現として使用する。
• 分類のための交差エントロピーと再構成のための平均二乗誤差（MSE）を組み合わせたジョイント損失関数を導入する。
• 入力画像および再構成画像にウェーブレット変換を適用し、ウェーブレット係数の L2 差を最小化することで、高周波数のエッジ詳細を保持する。
• 訓練中に潜在特徴にガウスノイズを注入することで、ロバストネスと汎化性能を向上させる。
• バッチ正則化と学習率スケジューリングを用いて、Adam 最適化手法でモデルをエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 事前に定義された均等に分布したクラス重心は、オートエンコーダベースの表現学習におけるクラス間分離性とクラス内凝縮性を向上させることができるか？
• RQ2 潜在変数を直接分類と再構成に使用することで、変分オートエンコーダ（VAE）よりも精度と画像品質に優れるか？
• RQ3 ウェーブレットベースの損失関数は、オートエンコーダ生成画像におけるエッジの忠実性と主観的画像品質を向上させることができるか？
• RQ4 潜在空間へのノイズ注入は、モデルの汎化性能とロバストネスをどの程度向上させるか？
• RQ5 提案手法の CSAE は、MNIST、Fashion-MNIST、EMNIST といった多様なベンチマークデータセットでどの程度の性能を示すか？

主な発見

• PEDCC を活用することで、CSAE は MNIST、Fashion-MNIST、EMNIST で最先端の分類精度を達成した。
• ウェーブレットベースの損失は、標準的な MSE 損失と比較して、エッジのシャープネスと主観的画像品質を顕著に向上させた。
• 潜在空間へのノイズ注入により、モデルのロバストネスが向上し、分類精度と汎化性能が向上した。
• 特に高周波数領域においてぼやけが減少し、優れた再構成性能を示した。
• PEDCC を用いた分類と再構成の共同最適化により、より判別力があり凝縮された特徴表現が得られた。
• 定量的指標および定性的な画像品質の両面で、標準的な VAE や CVAE ベースラインを上回った。