[論文レビュー] Beta-VAE Reproducibility: Challenges and Extensions

Miroslav Fil, Munib Mesinovic+2 more|arXiv (Cornell University)|Dec 28, 2021

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本再現性研究は、$β$-VAEが主張する分離表現性能の信頼性を検証し、選択的報告とハイパーパrameterへの感受性のため、元の結果が再現しにくいことを示している。複雑なデータセット（例：MPI3DToy）では、$β<1$ がしばしばより良い分離性と再構成性能を示すことが判明し、高い分離性スコアが質的分離性を保証するわけではないことが明らかになった。

ABSTRACT

$β$-VAE is a follow-up technique to variational autoencoders that proposes special weighting of the KL divergence term in the VAE loss to obtain disentangled representations. Unsupervised learning is known to be brittle even on toy datasets and a meaningful, mathematically precise definition of disentanglement remains difficult to find. Here we investigate the original $β$-VAE paper and add evidence to the results previously obtained indicating its lack of reproducibility. We also further expand the experimentation of the models and include further more complex datasets in the analysis. We also implement an FID scoring metric for the $β$-VAE model and conclude a qualitative analysis of the results obtained. We end with a brief discussion on possible future investigations that can be conducted to add more robustness to the claims.

研究の動機と目的

• 元の $β$-VAE 論文が主張する分離表現学習に関する主張の再現性を調査すること。
• $β>1$ が多様で複雑なデータセットにおいて一貫して分離性を向上させるかどうかを評価すること。
• 定量的分離性メトリクスの妥当性を、人間による定性的判断と比較することで評価すること。
• FID と MSE メトリクスを用いて、再構成品質と分離性のトレードオフを検討すること。
• ランダムシードの選択とハイパーパrameter感度が報告された性能に与える影響を調査すること。

提案手法

• 元の $β$-VAE を再実装し、既存のコードベースと照合することでトレーニングの整合性を保証した。
• 元の 2Dshapes に加え、3Dshapes と MPI3DToy といった複雑なデータセットを含む拡張実験を実施した。
• Google（2021年）の分離性メトリクスと FID スコアを用いて、表現品質と生成の忠実度を評価した。
• VAE 目的関数に MSE 損失を適用し、適切にキャリブレーションされたガウス尤度仮定下で $β$-VAE と同等の結果が得られることを示した。
• 複数のランダムシードと $β$ 値を用いたアブレーションスタディにより、ばらつきとロバストネスを評価した。
• 再構成と分離要因の定性的分析を通じて、定量的メトリクスの妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 標準的なトレーニングプロトコル下で、元の $β$-VAE の分離性に関する結果はどの程度再現可能か？
• RQ2 MPI3DToy などのより複雑なデータセットにおいて、$β>1$ が一貫して高い分離性スコアをもたらすか？
• RQ3 定量的分離性メトリクスと人間が認識する分離性の質との相関はどの程度高いか？
• RQ4 再構成品質（FID と MSE で測定）と分離性パフォーマンスの関係は何か？
• RQ5 ランダムシードの選択とハイパーパrameterの選定が、$β$-VAE の報告パフォーマンスにどのように影響するか？

主な発見

• 元の $β$-VAE の結果は、最悪の 50% のランダムシードを除外し、学習タスクを単純化するという手法に依存しており、これらは付録でのみ言及されているため、再現が困難である。
• MPI3DToy という複雑なデータセットでは、$β>1$ よりも $β<1$ がより高い分離性スコアを示し、元の直感とは逆転する結果となった。
• 視覚的検査により、高い分離性メトリクススコアが質的分離性を保証するわけではないことが示された。
• 低い $β$ 値が、低い MSE スコアと改善された FID スコアにより、より優れた画像再構成をもたらすことが確認された。
• FID スコアは再構成損失と強く相関しており、両者とも再構成の視覚的品質と整合していた。
• 分離性メトリクス自体が、内部のハイパーパramータを調整することで意図的に高められることから、その妥当性に懸念が生じた。