[논문 리뷰] Are Disentangled Representations Helpful for Abstract Visual Reasoning?

Sjoerd van Steenkiste, Francesco Locatello외 2명|arXiv (Cornell University)|2019. 05. 29.

Explainable Artificial Intelligence (XAI)참고 문헌 79인용 수 61

한 줄 요약

연구는 비지도 학습으로 더 잘 분리된 표현이 추상 시각 추론 과제에서 샘플 효율적인 성능으로 이어진다는 것을 보여주며, 360개의 분리 학습 모델과 3600개의 추론 모델을 사용한다.

ABSTRACT

A disentangled representation encodes information about the salient factors of variation in the data independently. Although it is often argued that this representational format is useful in learning to solve many real-world down-stream tasks, there is little empirical evidence that supports this claim. In this paper, we conduct a large-scale study that investigates whether disentangled representations are more suitable for abstract reasoning tasks. Using two new tasks similar to Raven's Progressive Matrices, we evaluate the usefulness of the representations learned by 360 state-of-the-art unsupervised disentanglement models. Based on these representations, we train 3600 abstract reasoning models and observe that disentangled representations do in fact lead to better down-stream performance. In particular, they enable quicker learning using fewer samples.

연구 동기 및 목표

• 감독 학습을 넘어서는 다운스트림 작업에 유용한 선행 지식으로서 분리된 표현의 타당성을 제시한다.
• 추상적 추론 과제에 대해 광범위한 비지도 분리 모델을 체계적으로 평가한다.
• 다양한 지표에 걸쳐 분리성과 다운스트림 성능 간의 상관관계를 평가한다.
• 분리 품질의 함수로서 샘플 효율성 향상을 정량화한다.

제안 방법

• 실험의 기저 요인인 dSprites와 3dshapes의 실제 요인을 기반으로 두 개의 RPM-유사 추상적 추론 과제를 구성한다.
• 네 가지 접근법(β-VAE, FactorVAE, β-TCVAE, DIP-VAE)을 포함하는 360개의 비지도 분리 모델을 학습한다.
• 이 모델들로부터 표현을 추출하고 3600개의 Wild Relation Networks (WReN)을 학습시켜 추론 과제를 해결한다.
• 학습 단계에 따른 다운스트림 정확도를 측정하고 다섯 가지 분리 지표(BetaVAE, FactorVAE, MIG, DCI, SAP) 및 재구성 오차와의 상관관계를 측정한다.
• 샘플 수가 적은 경우와 많은 경우의 규칙을 비교하여 샘플 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 분리된 표현이 얽혀 있는 표현에 비해 추상적 시각 추론 성능을 향상시키는가?
• RQ2 샘플 규칙에 따른 다양한 분리 지표와 다운스트림 성능의 관계는 어떤가?
• RQ3 샘플이 적은지 많은지에 따라 분리성이 더 큰 이점을 제공하는 규칙이 있는가?

주요 결과

• 더 분리된 표현은 고려된 추상적 시각 추론 과제에서 더 나은 샘플 효율성을 산출한다.
• 적은 샘플 구간에서 BetaVAE와 FactorVAE 점수가 다운스트림 정확도와 가장 강한 상관관계를 보이고, MIG와 SAP는 상대적으로 약하게 상관한다.
• 재구성 오차는 주로 많은 샘플 구간에서 다운스트림 성능과 상관관계가 있으며, 적은 샘플 구간에서는 덜 그렇다.
• 적은 샘플 구간에서 분리성(FactorVAE 점수 등)은 두 데이터 세트(dSprites, 3dshapes) 모두에서 성능과 강하게 상관관계를 유지한다.
• 다양한 샘플 구간에서 최종 정확도는 분리 지표에 덜 의존하고, 재구성 오차가 성능의 더 강력한 예측 변수가 된다.