[논문 리뷰] Weakly-Supervised Disentanglement Without Compromises

Francesco Locatello, Ben Poole외 4명|arXiv (Cornell University)|2020. 02. 07.

Blind Source Separation Techniques참고 문헌 78인용 수 96

한 줄 요약

논문은 식별가능성을 증명하고, 그룹 주석이 없는 이미지 쌍으로부터 분리된(disentangled) 표현을 학습하기 위한 적응적 약지도(weakly-supervised) VAE를 제시하며, 다양한 하류 태스크에서 강력한 활용성을 보여준다.

ABSTRACT

Intelligent agents should be able to learn useful representations by observing changes in their environment. We model such observations as pairs of non-i.i.d. images sharing at least one of the underlying factors of variation. First, we theoretically show that only knowing how many factors have changed, but not which ones, is sufficient to learn disentangled representations. Second, we provide practical algorithms that learn disentangled representations from pairs of images without requiring annotation of groups, individual factors, or the number of factors that have changed. Third, we perform a large-scale empirical study and show that such pairs of observations are sufficient to reliably learn disentangled representations on several benchmark data sets. Finally, we evaluate our learned representations and find that they are simultaneously useful on a diverse suite of tasks, including generalization under covariate shifts, fairness, and abstract reasoning. Overall, our results demonstrate that weak supervision enables learning of useful disentangled representations in realistic scenarios.

연구 동기 및 목표

• 요소의 일부만 변화하는 비독립동일분포(non-i.i.d.) 이미지 쌍에서 disentangled 표현을 학습하도록 동기를 부여한다.
• 쌍 관찰을 바탕으로 약한 가정 하에서 식별가능성이 달성될 수 있음을 보인다.
• 그룹 주석 없이도 요인 공유를 추론하는 실용적이고 적응적인 알고리즘을 개발한다.
• 대규모 실험을 통해 약지도 학습이 안정적인 disentanglement와 유용한 표현을 산출함을 입증한다.

제안 방법

• 두 관측이 잠재 요인의 임의의 부분집합을 공유하고 다른 부분은 다르게 나타나는 약지도 생성 모델을 제안한다.
• 제약된 분포 매칭이 인식 가능하게 하여 잠재 축의 순열에 대해 해제된 포스트eriors를 얻는 식별가능성 결과를 도출한다.
• Ada-GVAE 및 Ada-ML-VAE 변형을 도입하여 쌍에서 공유된 좌표의 포스트eriors의 평균으로 공유 요인(S)을 적응적으로 추정한다.
• 새로운 평균 제약을 포함한 beta-VAE 목적함수를 사용하여 알려진 그룹 구조 없이도 공유/비공유 좌표의 일관성을 강제한다.
• 쌍별 포스트리에르 간 KL 발산에 기반한 팔꿈치 방법과 유사한 휴리스트를 사용하여 각 쌍의 공유 요인 수 k를 추정한다.

실험 결과

연구 질문

• RQ1 비Explicit한 그룹 주석 없이도 비-i.i.d. 이미지 쌍으로부터 disentangled 표현을 식별할 수 있는가?
• RQ2 k가 알려지지 않았고 가변적일 때 쌍에서 공유되는 잠재 요인을 역추정하는 방법은 무엇인가?
• RQ3 약지도 disentangled 표현이 공변량 시프트 및 공정성 제약하에서 하류 작업에 대해 일반화되고 유용함을 입증하는가?
• RQ4 적응적 약지도 방법이 성능 및 강인성 측면에서 완전한 감독 그룹 기반 방법과 비교하여 어떤 차이가 있는가?

주요 결과

• 약지도 모델은 다섯 개 데이터셋에서 일관되게 비지도 기준선보다 우수한 성능을 보인다.
• Ada-GVAE(및 Ada-ML-VAE)는 변화된 요인 수 k에 잘 적응하며 종종 그룹-감독 방법과 같거나 그 이상을 달성한다.
• 약지도 하에서 학습된 disentangled 표현은 공변량 시프트 하에서 강한 일반화와 상관관계가 있다.
• 약지도 재구성 손실은 다운스트림 작업 성능과 공정성 결과의 유용한 대리척도 역할을 한다.
• 약지도에 의해 학습된 표현은 다운스트림 작업에서 강건성과 추상적 사고 능력을 향상시킨다.