[논문 리뷰] Beta-VAE Reproducibility: Challenges and Extensions

Miroslav Fil, Munib Mesinovic외 2명|arXiv (Cornell University)|2021. 12. 28.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 재현성 연구는 $β$-VAE가 주장하는 분리 표현 학습 성능의 신뢰성을 조사하며, 기존 결과가 선택적 보고와 하이퍼파라미터 민감성으로 인해 재현하기 어려운 점을 입증한다. 복잡한 데이터셋인 MPI3DToy에서 $β<1$일 때 더 나은 분리성과 재구성 성능를 얻는 경향이 있으며, 높은 분리성 점수도 반드시 정성적 분리성을 보장하지는 않는다는 점을 발견한다.

ABSTRACT

$β$-VAE is a follow-up technique to variational autoencoders that proposes special weighting of the KL divergence term in the VAE loss to obtain disentangled representations. Unsupervised learning is known to be brittle even on toy datasets and a meaningful, mathematically precise definition of disentanglement remains difficult to find. Here we investigate the original $β$-VAE paper and add evidence to the results previously obtained indicating its lack of reproducibility. We also further expand the experimentation of the models and include further more complex datasets in the analysis. We also implement an FID scoring metric for the $β$-VAE model and conclude a qualitative analysis of the results obtained. We end with a brief discussion on possible future investigations that can be conducted to add more robustness to the claims.

연구 동기 및 목표

• 원본 $β$-VAE 논문에서 주장하는 분리 표현 학습 성능의 재현 가능성 조사.
• $β>1$가 다양한 복잡한 데이터셋에서 일관되게 분리성을 향상시킬 수 있는지 평가.
• 정량적 분리성 평가 지표의 타당성을 인간의 정성적 판단과 비교하여 평가.
• FID 및 MSE 지표를 사용해 재구성 품질과 분리성 간의 상호 상관 관계 분석.
• 랜덤 시드 선택과 하이퍼파라미터 민감성이 보고된 $β$-VAE 성능에 미치는 영향 탐색.

제안 방법

• 원본 $β$-VAE를 다시 구현하고 기존 코드베이스와의 교차 검증을 통해 학습 정확도 확보.
• 원본의 2Dshapes 외에 3Dshapes 및 MPI3DToy와 같은 복잡한 데이터셋까지 실험 범위 확장.
• Google(2021)에서 제안한 분리성 지표와 FID 점수를 활용해 표현 품질 및 생성 정확도 평가.
• VAE 목표함수에 MSE 손실를 적용하여, 캘리브레이션된 가우시안 가능도 가정 하에 $β$-VAE와 동치임을 입증.
• 다양한 랜덤 시드와 $β$ 값에서의 추론 실험을 통해 변동성과 내구성 평가.
• 재구성 결과 및 분리된 요소의 정성적 분석을 통해 정량적 지표의 타당성 검증.

실험 결과

연구 질문

• RQ1 표준 학습 프rotocol 하에서 원본 $β$-VAE의 분리성 성능 결과는 어느 정도 재현 가능한가?
• RQ2 MPI3DToy와 같은 더 복잡한 데이터셋에서 $β>1$가 일관되게 더 높은 분리성 점수를 제공하는가?
• RQ3 정량적 분리성 지표는 인간이 인식하는 분리성 품질과 얼마나 잘 일치하는가?
• RQ4 재구성 품질(FID 및 MSE로 측정)과 분리성 성능 간의 관계는 어떠한가?
• RQ5 랜덤 시드 선택과 하이퍼파라미터 설정이 $β$-VAE의 보고된 성능에 어떤 영향을 미치는가?

주요 결과

• 원본 $β$-VAE 결과는 재현하기 어렵다. 이는 최악의 50% 랜덤 시드를 제거하고 학습 과제를 단순화했음을 전제로 하며, 이는 오직 부록에서만 언급된다.
• MPI3DToy와 같은 복잡한 데이터셋에서 $β<1$일 때 $β>1$보다 더 높은 분리성 점수를 기록하며, 원본의 직관과는 정반대이다.
• 높은 분리성 지표 점수도 시각적 검토를 통해 생성된 요소의 정성적 분리성이 보장되지 않음을 확인했다.
• 낮은 $β$ 값에서 더 나은 이미지 재구성 성능를 보이며, 이는 더 낮은 MSE와 향상된 FID 점수로 확인된다.
• FID 점수는 재구성 손실와 강하게 상관되며, 둘 다 재구성 결과의 시각적 품질과 일치한다.
• 분리성 지표 자체가 내부 하이퍼파라미터를 조정함으로써 인위적으로 높아질 수 있어, 그 타당성에 우려가 제기된다.