[論文レビュー] How to Not Measure Disentanglement

Anna Sepliarskaia, Julia Kiseleva+1 more|arXiv (Cornell University)|Oct 12, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用数 4

ひとこと要約

この論文は、既存の分離度評価指標に深刻な欠陥があることを特定し、真に分離された表現に対して一貫して高いスコアを割り当てず、混同された表現に対しては低いスコアを割り当てないことを示している。本稿では、理論的に両方の望ましい性質を満たし、過去の指標の長所を統合する形式的な枠組みに基づく、新しい指標3CharMを提案する。

ABSTRACT

To evaluate disentangled representations several metrics have been proposed. However, theoretical guarantees for conventional metrics of disentanglement are missing. Moreover, conventional metrics do not have a consistent correlation with the outcomes of qualitative studies. In this paper we analyze metrics of disentanglement and their properties. We conclude that existing metrics of disentanglement were created to reflect different characteristics of disentanglement and do not satisfy two basic desirable properties: (1) assign a high score to representations that are disentangled according to the definition; and (2) assign a low score to representations that are entangled according to the definition. In addition, we propose a new metric of disentanglement and prove that it satisfies both of the properties.

研究の動機と目的

• 従来の分離度評価指標が、分離度の定性的な評価と相関しない理由を分析すること。
• 分離された表現を定義づける2つの基本的特性を特定・形式化すること：(1) 生成要因ごとに1つの潜在要因が対応すること、(2) 潜在要因と生成要因の間の写像が可逆であること。
• BetaVAE、FactorVAE、DCI、SAP、MIGといった既存の指標が、望ましい基本的性質（分離された表現に対して高いスコア、混同された表現に対して低いスコア）を一貫して満たさないことを示すこと。
• 理論的に両方の望ましい性質を満たし、異なる特性にわたる分離度の評価を統合する新しい指標3CharMを提案すること。

提案手法

• 著者らは、2つの核心的特性に基づいて分離度を定義する：(1) それぞれの生成要因が1つの独立した潜在要因によって符号化されること、(2) 生成要因と潜在要因の間の写像が可逆であること。
• 既存の指標（BetaVAE、FactorVAE、DCI、SAP、MIG）を分析し、定義された特性を満たす表現に対して高いスコアを割り当て、満たさない表現に対しては低いスコアを割り当てるかどうかを評価する。
• 本稿では、相互情報量と可逆性制約を用いて、2つの分離度特性の評価を統合した、理論的根拠に基づく単一の測定値である3CharMを導入する。
• 3CharMは、各潜在要因が正確に1つの生成要因を捉えている程度を測定するとともに、与えられた制約下で表現が可逆のままであることを保証する。
• 理論的証明により、3CharMが両方の望ましい性質を満たすことが示されている：分離された表現では高いスコアを、混同された表現では低いスコアを示す。

実験結果

リサーチクエスチョン

• RQ1 なぜ既存の分離度評価指標は、分離度の定性的な評価と相関しないのか？
• RQ2 信頼できる分離度評価指標が満たすべき基本的性質は何なのか？
• RQ3 BetaVAE、FactorVAE、DCI、SAP、MIGといった現在の指標は、分離された表現に対して高いスコアを、混同された表現に対して低いスコアを割り当てるという基本的望ましい性質を満たしているのか？
• RQ4 両方の分離度の重要な特性を反映し、理論的に正当化された統一された指標を設計できるか？

主な発見

• BetaVAE、FactorVAE、DCI、SAP、MIGといった多くの従来の分離度評価指標は、定義に従って真に分離された表現に対して高いスコアを割り当てない。
• これらの指標は混同された表現に対しても低いスコアを割り当てないことが判明し、分離度の理論的定義と一貫性がないことが示された。
• 研究では、指標が分離度の異なる特性を反映するように設計されていることが判明し、これが異なるデータセットやモデル間での順位付けの不一致を引き起こしている。
• 提案された3CharM指標は、両方の望ましい性質を理論的に満たすことが証明された：分離された表現では高いスコアを、混同された表現では低いスコアを示す。
• 3CharMは、生成要因と潜在要因の間の1対1対応と可逆性の両方を統合することで、分離度の評価を統一する。