[論文レビュー] Where and What? Examining Interpretable Disentangled Representations

Xinqi Zhu, Chang Xu+1 more|arXiv (Cornell University)|Apr 7, 2021

Digital Media Forensic Detection被引用数 5

ひとこと要約

本論文は、空間的収縮（各潜在コードの影響を特定の画像領域に局在化すること）と知覚的単純性（潜在次元が知覚的に単純な変化をエンコードするよう促すこと）の2つの主要仮説をモデル化することで、解釈可能な分離表現を学ぶ、画期的な教師なしアプローチを提案する。本手法は、DSpritesおよび3DShapesで最先端の分離性能を達成しており、従来のGANおよびVAEベースのモデルと比較して、分離品質と生成忠実度が向上している。

ABSTRACT

Capturing interpretable variations has long been one of the goals in disentanglement learning. However, unlike the independence assumption, interpretability has rarely been exploited to encourage disentanglement in the unsupervised setting. In this paper, we examine the interpretability of disentangled representations by investigating two questions: where to be interpreted and what to be interpreted? A latent code is easily to be interpreted if it would consistently impact a certain subarea of the resulting generated image. We thus propose to learn a spatial mask to localize the effect of each individual latent dimension. On the other hand, interpretability usually comes from latent dimensions that capture simple and basic variations in data. We thus impose a perturbation on a certain dimension of the latent code, and expect to identify the perturbation along this dimension from the generated images so that the encoding of simple variations can be enforced. Additionally, we develop an unsupervised model selection method, which accumulates perceptual distance scores along axes in the latent space. On various datasets, our models can learn high-quality disentangled representations without supervision, showing the proposed modeling of interpretability is an effective proxy for achieving unsupervised disentanglement.

研究の動機と目的

• 教師なし分離表現学習における一意でない問題に対処すること。これは、情報量が多く独立であるが、一意に解釈可能ではない複数の表現が存在する状況である。
• 教師あり設定ではあまり活用されていなかった解釈可能性が、真のラベルが存在しない状況でも、分離をガイドする代理指標として有効であるかを検討すること。
• 潜在空間における局所的で知覚的に単純な変化を強制することで、分離表現を学ぶ手法を開発すること。
• 潜在軸に沿った蓄積された知覚的距離に基づく、教師なしのモデル選択手法を導入すること。

提案手法

• 画像生成中に特徴マップ上の各潜在次元の影響を局在化するための空間的収縮（SC）モジュールを導入し、空間マスクを学習する。
• 潜在次元が単純で知覚的に明確な変化をエンコードするよう促すために、コードを摂動させ、生成画像の変化を測定する知覚的単純性損失を設計する。
• 各潜在コードの影響範囲を制限する微分可能マスク学習機構を採用し、分離要因の解釈可能性を向上させる。
• 潜在軸に沿った蓄積された知覚的距離を測定することで、モデルを教師なしで順位付けするTPL（Total Perceptual Loss）スコアを提案する。単純で解釈可能な変化を示すモデルを優遇する。
• SCモジュールと知覚的単純性損失を統合したフレームワークを構築し、高い生成品質を維持しつつ分離性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 教師なし環境下で、解釈可能性を分離の代理指標として効果的にモデル化できるか？
• RQ2 各潜在次元の影響を特定の画像領域に局在化させること（空間的収縮）が、学習された表現の解釈可能性と分離性を向上させるか？
• RQ3 潜在軸に沿って知覚的に単純な変化を強制することで、より良い分離性と意味のある要因分解が達成できるか？
• RQ4 潜在軸に沿った蓄積された知覚的距離は、高品質な分離モデルを同定するための信頼できる教師なし指標であるか？

主な発見

• 3DShapesデータセットでは、提案手法がFactorVAEスコア92.04（±6.49）を達成し、InfoGAN-CRやVAEベースのベースラインを上回った。
• DSpritesでは、スコア83.54（±6.91）を達成し、TPLモデル選択手法を組み合わせることでさらに84.22（±4.21）まで向上した。
• 空間的収縮マスクは、しばしば点状や非局在的なヒートマップを生成する標準的なソフトマックスベースのアテンションマップと比較して、より解釈可能で情報量が多い。
• 潜在空間の走査結果から、提案手法は優れた分離性を維持しながらも、生成品質が高く保たれていることが示された。これに対して、InfoGAN-CRなどのベースラインは、照明と笑顔のエンタングルメントや品質の低下を示した。
• FFHQにおける画像編集実験では、モデルが髪の色や表情などの属性を正しく転送しながらも、アイデンティティや他の属性を保持することができ、分離品質の妥当性を裏付けた。
• TPLスコアは、教師なしで高精度なモデルを効果的に同定でき、DSpritesおよび3DShapesの両データセットで上位10のシードがTPLスコアで順位付けされた場合、性能が向上した。