[論文レビュー] Isometric Autoencoders

Amos Gropp, Matan Atzmon+1 more|arXiv (Cornell University)|Jun 16, 2020

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 10

ひとこと要約

この論文は、符号化器が擬似逆行列として作用し、復号器が局所的に等長（距離保存）であることを強制する正則化オートエンコーダーフレームワーク、等長オートエンコーダー（I-AE）を導入する。この手法は、標準オートエンコーダーやCAE、UMAP、t-SNEなどのベースラインと比較して、特に点間距離の保存や原点付近の密集の回避において、より均等で幾何的に忠実な低次元表現を生成する。

ABSTRACT

High dimensional data is often assumed to be concentrated on or near a low-dimensional manifold. Autoencoders (AE) is a popular technique to learn representations of such data by pushing it through a neural network with a low dimension bottleneck while minimizing a reconstruction error. Using high capacity AE often leads to a large collection of minimizers, many of which represent a low dimensional manifold that fits the data well but generalizes poorly. Two sources of bad generalization are: extrinsic, where the learned manifold possesses extraneous parts that are far from the data; and intrinsic, where the encoder and decoder introduce arbitrary distortion in the low dimensional parameterization. An approach taken to alleviate these issues is to add a regularizer that favors a particular solution; common regularizers promote sparsity, small derivatives, or robustness to noise. In this paper, we advocate an isometry (i.e., local distance preserving) regularizer. Specifically, our regularizer encourages: (i) the decoder to be an isometry; and (ii) the encoder to be the decoder's pseudo-inverse, that is, the encoder extends the inverse of the decoder to the ambient space by orthogonal projection. In a nutshell, (i) and (ii) fix both intrinsic and extrinsic degrees of freedom and provide a non-linear generalization to principal component analysis (PCA). Experimenting with the isometry regularizer on dimensionality reduction tasks produces useful low-dimensional data representations.

研究の動機と目的

• 学習された低次元多様体における外在的および内在的歪みを排除することで、オートエンコーダーの一般化性能を向上させること。
• 復号器における等長性と符号化器における擬似逆行列挙動を強制することで、多様体学習を改善すること。
• 局所的距離を保存し、ノイズや不自然な構造への過剰適合を回避する非線形PCAの一般化を提供すること。
• 等長正則化が次元削減タスクにおけるより一様で幾何的に正確なデータ表現をもたらすことを実証すること。

提案手法

• 復号器のヤコビ行列が等長である、すなわち $\mathbf{A}^T\mathbf{A} = \mathbf{I}_d$ であることを強制する正則化項を導入し、局所的距離保存を保証する。
• 符号化器は復号器の擬似逆行列であると制約され、そのヤコビ行列 $\mathbf{B}$ が $\mathbf{B} = \mathbf{A}^+$ を満たす。等長性のもとでは $\mathbf{B} = \mathbf{A}^T$ に簡略化される。
• 損失関数は、標準的な再構成損失に加え、復号器の等長性からの逸脱をペナルティ化する項と、符号化器-復号器の擬似逆行列関係を強制する項の2つの正則化項を組み合わせる。
• 正則化は層レベルでの微分を用いて実装され、標準的なディープラーニングフレームワークおよびバックプロパゲーションと互換性がある。
• MNIST、Fashion-MNIST、COIL20データセットにおいて、全結合および畳み込みオートエンコーダーの両方のアーキテクチャにこの手法を適用した。
• $\lambda_{\text{iso}}$ におけるハイパーパramータ感度分析を行い、$\lambda_{\text{iso}} \geq 0.75$ のときを除き、広い範囲で安定した性能を示した。

実験結果

リサーチクエスチョン

• RQ1 復号器に等長性を強制し、符号化器に擬似逆行列挙動を強制することで、オートエンコーダーに基づく次元削減における一般化性能が向上するか？
• RQ2 I-AEは、点間距離の保存やデータの密集の回避において、標準オートエンコーダーやUMAP、t-SNEなどの他の多様体学習手法と比較してどのように異なるか？
• RQ3 等長正則化は、非等長ベースラインと比較して、学習された低次元多様体の幾何的忠実性をどの程度向上させるか？
• RQ4 等長正則化の強度を制御するハイパーパramータに、I-AEの性能はどの程度感受性を示すか？
• RQ5 I-AEフレームワークは、回転的・対称的パターンを有する構造的データにおいて、より一様で単射な表現を生成するか？

主な発見

• I-AEは、CAE や通常の AE で観察される原点付近の点の密集を回避し、より均等に分布した埋め込みを生成する。
• COIL20データセットでは、I-AEは72度回転における等間隔の距離を正確に保存するが、UMAPは複数のクラスを同じ領域にマップし、t-SNEは点間距離を歪める。
• 再構成損失 ($L_{\text{rec}}$) は $\lambda_{\text{iso}}$ が増加するにつれて徐々に増加するが、安定的かつ予測可能であり、深刻なトレードオフは見られない。
• 等長損失 ($L_{\text{iso}}$) と擬似逆行列損失 ($L_{\text{piso}}$) は、$\lambda_{\text{iso}}$ が0から増加するに従い、速やかに安定化し、効果的な正則化が実現していることが確認された。
• UMAP や t-SNE ですら優れたクラスタ分離を達成しているにもかかわらず、I-AE は幾何的構造の保存において優れている。これは、クラスタ分離と幾何的忠実性の間のトレードオフを示している。