[論文レビュー] Demystifying Inter-Class Disentanglement

Aviv Gabbay, Yedid Hoshen|arXiv (Cornell University)|Jun 27, 2019

Digital Media Forensic Detection参考文献 29被引用数 9

ひとこと要約

この論文は、共有潜在最適化と非対称ノイズ正則化を用いて、敵対的でない手法であるLORDを提案する。これにより、最先端の分離性能を達成する。訓練中にクラス固有の潜在コードを最適化し、それをフォワード伝搬型エンコーダーに蒸留することで、未学習の画像に対しても高速かつ汎用的な推論が可能となり、クラスとコンテンツ表現間の情報漏洩を最小限に抑える。

ABSTRACT

Learning to disentangle the hidden factors of variations within a set of observations is a key task for artificial intelligence. We present a unified formulation for class and content disentanglement and use it to illustrate the limitations of current methods. We therefore introduce LORD, a novel method based on Latent Optimization for Representation Disentanglement. We find that latent optimization, along with an asymmetric noise regularization, is superior to amortized inference for achieving disentangled representations. In extensive experiments, our method is shown to achieve better disentanglement performance than both adversarial and non-adversarial methods that use the same level of supervision. We further introduce a clustering-based approach for extending our method for settings that exhibit in-class variation with promising results on the task of domain translation.

研究の動機と目的

• 既存の分離手法におけるクラス表現とコンテンツ表現間の情報漏洩問題に対処すること。
• 敵対的でなく、スケーラブルな手法を考案し、画像におけるクラスアイデンティティとコンテンツ変動を分離すること。
• 2段階のアンモトライブレーションプロセスを通じて、未学習のテスト画像に対する高速かつ汎用的な推論を可能にすること。
• クラスタリングを用いた拡張により、高クラス数（例：10,000クラス）やクラス内スタイリング変動の下での分離を可能とすること。
• 敵対的またはKLベースの制約と比較して、知覚的損失と非対称正則化の有効性を示すこと。

提案手法

• クラスごとに1つの共有潜在コードを学習するための潜在最適化を活用し、サンプル間の変動を最小限に抑え、情報漏洩を低減する。
• コンテンツコードに非対称ノイズ正則化を適用し、クラス不変性を強制し、分離性能を向上させる。
• 2段階の訓練プロセスを採用：第一段階では、共有クラスおよびコンテンツコードの潜在最適化を実施。第二段階では、フォワード伝搬型エンコーダーを訓練し、新しいテスト画像への一般化を実現。
• 潜在最適化中の訓練の安定化と再構成品質の向上のため、ImageNet事前学習済みの知覚的損失を採用する。
• クラス内スタイリング変動の分離を可能とするクラスタリングベースの拡張を導入し、顔写真とアニメ間のドメイン変換を実現する。
• 敵対的訓練を回避し、構造的正則化と最適化に依存することで分離を達成する。

実験結果

リサーチクエスチョン

• RQ1 共有潜在最適化は、アンモトライブレーション推論を上回る、分離されたクラスおよびコンテンツ表現の学習に効果的か？
• RQ2 非対称ノイズ正則化は、敵対的制約やKLダイバージェンスと比較して、より優れた分離性能を示すか？
• RQ3 2段階のアンモトライブレーションプロセスは、潜在最適化後に未学習のテスト画像に対する高速かつ汎用的な推論を可能にするか？
• RQ4 10,000クラスのような高クラス数設定でも、この手法は有効か？
• RQ5 クラスタリングベースのスタイリング分離は、顔写真とアニメなどの画像ドメイン間で効果的なドメイン変換を可能にするか？

主な発見

• LORDは、敵対的および非敵対的ベースラインの両方において、β-VAE や Factor-VAE、cycle-GAN などの手法を上回る最先端の分離性能を達成する。
• 潜在最適化により、コンテンツコードからクラス表現への情報漏洩が顕著に低減され、コンテンツコードからのクラス分類精度がほぼゼロであることが実証された。
• 10,000クラスの設定ですら、高い品質の分離を達成し、スケーラビリティを示した。
• 第二段階のアンモトライブレーションプロセスにより、未学習の画像に対する推論速度と一般化性能が著しく向上し、テスト時の直接的な潜在最適化を上回った。
• 非対称ノイズ正則化は、KLダイバージェンスや敵対的制約と比較して、クラス情報がコンテンツコードに漏れ込むのをより効果的に低減した。
• クラスタリングベースの拡張により、顔写真とアニメ間の効果的なドメイン変換が実現され、クラス内スタイリング変動に対しても頑健であることが示された。