[論文レビュー] Autoencoder Image Interpolation by Shaping the Latent Space

Alon Oring, Zohar Yakhini+1 more|arXiv (Cornell University)|Aug 4, 2020

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 10

ひとこと要約

この論文は、自己符号化器の潜在空間を滑らかで局所的凸にする正則化手法を提案し、アーティファクトを低減することで忠実な画像補間を向上させる。敵対的損失、サイクル整合性損失、滑らかさ損失を組み合わせることで、画像間の現実的でアーティファクトのない補間を可能にし、COIL-100および合成ポールデータセットにおいて、標準的な自己符号化器、VAE、AAEを上回る再構成忠実度と補間の滑らかさを達成する。

ABSTRACT

Autoencoders represent an effective approach for computing the underlying factors characterizing datasets of different types. The latent representation of autoencoders have been studied in the context of enabling interpolation between data points by decoding convex combinations of latent vectors. This interpolation, however, often leads to artifacts or produces unrealistic results during reconstruction. We argue that these incongruities are due to the structure of the latent space and because such naively interpolated latent vectors deviate from the data manifold. In this paper, we propose a regularization technique that shapes the latent representation to follow a manifold that is consistent with the training images and that drives the manifold to be smooth and locally convex. This regularization not only enables faithful interpolation between data points, as we show herein, but can also be used as a general regularization technique to avoid overfitting or to produce new samples for data augmentation.

研究の動機と目的

• 非滑らかで非凸な潜在多様体が原因で生じる自己符号化器ベースの画像補間におけるアーティファクトを解消すること。
• 潜在空間を元のデータ多様体をよりよく反映するように形状することで、画像間の補間の忠実度を向上させること。
• 低データ環境における過学習を低減し、補間品質を向上させる汎用的な正則化手法を開発すること。
• 潜在空間における幾何的整合性を強制することで、データポイント間の滑らかで連続的な遷移を実現すること。

提案手法

• 敵対的損失、サイクル整合性損失、滑らかさ損失を組み合わせた新しい正則化フレームワークを導入し、潜在空間を形状化する。
• 判別器を用いて、実データと補間された潜在ベクトルを区別させ、再構成の現実性を促進する。
• xからyへの補間とyからxへの逆補間が元のデータポイントを保存することを保証するため、サイクル整合性損失を適用する。
• 局所的凸性と連続性を潜在多様体に強制するため、滑らかさ損失を実装する。
• 提案された正則化を用いて標準的な自己符号化器を訓練し、アーキテクチャの変更なしに忠実な補間を生成する。
• 256次元の潜在空間を採用し、COIL-100および照明条件が変化する合成ポールデータセットで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 自己符号化器ベースのモデルにおける画像補間の現実性と忠実度をどのように向上させられるか？
• RQ2 潜在多様体の幾何的構造は、補間品質にどのような役割を果たすか？
• RQ3 敵対的損失とサイクル整合性損失は、補間アーティファクトを低減するための潜在空間正則化に効果的か？
• RQ4 滑らかさ正則化は、補間パスの連続性と単調性にどのように影響するか？
• RQ5 この手法は、限られた学習データを有する生成モデルに汎用的な正則化子として機能できるか？

主な発見

• 提案手法は、COIL-100データセットにおいて、ベースライン手法と比較して補間画像再構成の平均二乗誤差（MSE）を最大30％まで低減した。
• 異なるalpha値におけるMSEの標準偏差は、AAE、ACAI、β-VAEと比較して顕著に低く、再構成品質の一貫性が高まっていることを示している。
• 提案手法から得られた補間画像は、最近接データセット画像とのL1距離に基づいて正しいalpha値を予測する際、四分位範囲（IQR）が最小であり、優れた補間精度を示している。
• 本手法はパrameter空間における単調で滑らかな遷移を達成しており、一部の範囲で非単調な挙動を示すβ-VAEを上回っている。
• 視覚的検証により、本手法はアーティファクトのない補間を生成することが確認された一方、AAE、ACAI、β-VAEは目立つ歪みや急激なモード変化を引き起こしていた。
• 敵対的損失、サイクル整合性損失、滑らかさ損失の組み合わせにより、潜在多様体が局所的凸かつ滑らかに形状され、忠実な補間が可能になった。