[論文レビュー] Unsupervised Model Selection for Variational Disentangled Representation Learning

Sunny Duan, Löıc Matthey+5 more|arXiv (Cornell University)|May 29, 2019

Adversarial Robustness in Machine Learning参考文献 46被引用数 27

ひとこと要約

本稿では、教師なし変分オートエンコーダーの理論的知見を活用して、真の属性ラベルが存在しない状況下でも最良の分離表現モデルを選別する手法であるUnsupervised Disentanglement Ranking（UDR）を提案する。UDRは、モデルの表現同士を対比較することで、分離度の質に基づいてモデルをランク付けする。5,400のモデルを対象とした実験で、教師ありメトリクスと同等の性能を達成し、下流タスクの性能とも良好な相関を示した。

ABSTRACT

Disentangled representations have recently been shown to improve fairness, data efficiency and generalisation in simple supervised and reinforcement learning tasks. To extend the benefits of disentangled representations to more complex domains and practical applications, it is important to enable hyperparameter tuning and model selection of existing unsupervised approaches without requiring access to ground truth attribute labels, which are not available for most datasets. This paper addresses this problem by introducing a simple yet robust and reliable method for unsupervised disentangled model selection. Our approach, Unsupervised Disentanglement Ranking (UDR), leverages the recent theoretical results that explain why variational autoencoders disentangle (Rolinek et al, 2019), to quantify the quality of disentanglement by performing pairwise comparisons between trained model representations. We show that our approach performs comparably to the existing supervised alternatives across 5,400 models from six state of the art unsupervised disentangled representation learning model classes. Furthermore, we show that the ranking produced by our approach correlates well with the final task performance on two different domains.

研究の動機と目的

• 真の属性ラベルが存在しないことによる、教師なし分離表現学習における信頼性の低いモデル選別問題に対処すること。
• 従来の教師あり分離度メトリクスの限界を克服すること。これらのメトリクスは単一の標準的因子分解を仮定しており、有効な代替の分離表現を罰する。
• 多様なアーキテクチャやハイパーパrameterに対して、信頼性の高い分離モデルをランク付けできる、強固な教師なし手法を開発すること。
• 本手法が下流タスクの性能と相関すること、そして意味のある分離度の質を反映することを検証すること。

提案手法

• UDRは、Rolinekら（2019）が示した変分オートエンコーダーにおける分離の実現メカニズム（「極性化領域」）に関する理論的結果を活用する。
• 訓練済みモデルの表現同士を対比較することで、相対的な分離度の質を評価する。
• 潜在空間のトレース（潜在変数の変動を可視化）と意味的解釈可能性を用いて、潜在次元がどのように一貫してかつ意味的に変化するかを測定することで、分離度を定量化する。
• 潜在空間トレースの一貫性と解釈可能性に基づいて、モデルをスコア順にランク付けする。高いスコアは、より優れた分離度を示す。
• スコアの高い、中程度の、低いの3つのバンドにモデルを閾値に基づいてグループ化し、ランク付けの信頼性を定性的に検証する。
• 本手法は、潜在次元の順列、符号反転、部分集合化に対して不変であるように設計されており、分離表現の構成的性質と整合する。

実験結果

リサーチクエスチョン

• RQ1 真のラベルが入手不可な状況下でも、教師なし手法が信頼性を持って分離表現モデルをランク付けできるか？
• RQ2 UDRが得るランク付けは、実世界のデータセットにおける下流タスクの性能と相関するか？
• RQ3 高スコアのUDRモデルが学習する表現は、異なるモデルクラスにわたり一貫して解釈可能で類似しているか？
• RQ4 低スコアのモデルは、解釈不能または非スパースな潜在変数を示し、分離度が低い特性を示すか？
• RQ5 UDRは、一意の標準的形に偏らない、有効な代替因子分解に対してもロバストであるか？

主な発見

• UDRは、6つの最先端の教師なし分離表現学習モデルクラスからなる5,400のモデルにおいて、教師あり分離度メトリクスと同等の性能を達成した。
• UDRで高スコアにランクされたモデルは、一貫して解釈可能で類似した潜在空間トレースを示し、多くの無情報なまたは「オフ」状態の潜在変数を示しており、強い分離度を示している。
• 低スコアのモデルは、解釈不能な表現を示し、無情報な潜在変数が少なく、モデル間で高いばらつきを示しており、分離度が低いことが判明した。
• UDRのランク付けは、2つの異なるドメインにおける最終タスク性能と良好な相関を示しており、実用的有用性が裏付けられた。
• DIP-VAE-Iを除くすべてのモデルクラスがトレーニング中に「極性化領域」に入ったことが確認され、本手法の理論的基盤が裏付けられた。
• 本手法は、有効な代替因子分解（例：色の表現においてRGBとHSV）を罰しないため、従来の教師ありメトリクスよりもよりロバストであることが示された。