[논문 리뷰] Empirical Study of the Benefits of Overparameterization in Learning Latent Variable Models

Rares-Darius Buhai, Yoni Halpern외 3명|arXiv (Cornell University)|2019. 06. 28.

Machine Learning and Data Classification참고 문헌 24인용 수 13

한 줄 요약

이 논문은 잠재변수 모델의 비지도 학습에서 과다 매개변수화의 경험적 성질을 조사하며, 노이즈-OR 네트워크, 희소 코딩, 확률적 문맥 자유 문법에서 진짜 성분의 복원을 향상시키기 위해 진짜 수치보다 훨씬 많은 잠재변수를 사용해 학습하는 것이 효과적임을 보여준다. 과다 매개변수화는 성능 저하 없이 최적화 안정성과 파라미터 복원을 향상시키며, 10배 과다 매개변수화조차도 성능 저하 없이 작동하며, 간단한 필터링을 통해 진짜 성분을 분리할 수 있다.

ABSTRACT

One of the most surprising and exciting discoveries in supervised learning was the benefit of overparameterization (i.e. training a very large model) to improving the optimization landscape of a problem, with minimal effect on statistical performance (i.e. generalization). In contrast, unsupervised settings have been under-explored, despite the fact that it was observed that overparameterization can be helpful as early as Dasgupta & Schulman (2007). We perform an empirical study of different aspects of overparameterization in unsupervised learning of latent variable models via synthetic and semi-synthetic experiments. We discuss benefits to different metrics of success (recovering the parameters of the ground-truth model, held-out log-likelihood), sensitivity to variations of the training algorithm, and behavior as the amount of overparameterization increases. We find that across a variety of models (noisy-OR networks, sparse coding, probabilistic context-free grammars) and training algorithms (variational inference, alternating minimization, expectation-maximization), overparameterization can significantly increase the number of ground truth latent variables recovered.

연구 동기 및 목표

• 이론적 이해가 지도 학습 환경에 비해 뒤떨어지는 비지도 학습에서 잠재변수 모델의 과다 매개변수화의 경험적 이점을 조사하기 위해.
• 다양한 모델과 학습 알고리즘 간에 진짜 잠재변수 복원에 과다 매개변수화가 미치는 영향을 평가하기 위해.
• 학습 초기 설정 및 변분 근사에 대한 변화에 대한 과다 매개변수화의 강건성 평가하기 위해.
• 과다 매개변수화가 진짜 성분에 가까운 초기화 가능성 증가 때문인지, 아니면 다른 최적화 역학 때문인지 확인하기 위해.
• 과다 매개변수화의 한계를 분석하여 수익 감소 및 성능 저하 가능성을 평가하기 위해.

제안 방법

• 노이즈-OR 네트워크, 희소 코딩, 확률적 문맥 자유 문법의 세 가지 잠재변수 모델에 대한 시뮬레이션 및 반시뮬레이션 데이터셋에서의 실험.
• 진짜 수치의 10배까지 증가하는 잠재변수 수를 사용해 학습하여 복원도 및 로그우도 성능 측정.
• 다양한 최적화 알고리즘 사용: 로지스틱 회귀 인식 네트워크를 사용한 변분 추론, 평균장 변분 사후, 교대 최소화.
• 학습 후 단순한 필터링 절차 적용을 통해 매개변수 유사도와 사전 확률 기반으로 진짜 성분과 일치하는 잠재변수 식별 및 유지.
• 학습 전반에 걸쳐 훈련된 성분과 진짜 성분 간의 최소비용 이분 매칭을 통한 잠재변수 매칭 추적.
• 배치 크기 및 변분 사후 선택과 같은 학습 초깃값에 대한 민감도 평가.

실험 결과

연구 질문

• RQ1 비지도 학습에서 잠재변수 모델의 과다 매개변수화가 진짜 잠재변수 복원에 도움이 되는가?
• RQ2 다양한 모델과 학습 알고리즘 간에 과다 매개변수화가 보류된 로그우도와 최적화 안정성에 어떤 영향을 미치는가?
• RQ3 과다 매개변수화의 이점은 진짜 성분 근처의 초기화 가능성 증가 때문인지, 아니면 다른 최적화 역학 때문인가?
• RQ4 극도의 과다 매개변수화(예: 진짜 성분 수의 10배)가 모델 성능과 일반화에 어떤 영향을 미치는가?
• RQ5 학습 알고리즘의 변화(예: 배치 크기, 변분 사후)가 과다 매개변수화와 복원 성능에 어떻게 상호작용하는가?

주요 결과

• 과다 매개변수화는 진짜 잠재변수 복원 수를 크게 증가시키며, 모델 크기가 커질수록 더 많은 학습 런에서 완전한 복원을 달성한다.
• 진짜 수치의 10배에 이르는 과다 매개변수화조차도 보류된 로그우도가 계속 향상되며, 극단적인 과다 매개변수화로 인한 성능 저하가 없음을 시사한다.
• 과다 매개변수화의 이점은 변분 추론에 다양한 사후 근사와 교대 최소화를 포함한 다양한 학습 알고리즘 간에 강건하다.
• 학습 전반에 걸쳐 잠재변수 매칭이 크게 변화함을 확인하여, 과다 매개변수화가 단지 초기화 근접성 초과하는 최적화 촉진 기전을 제공함을 시사한다.
• 간단한 필터링 절차—낮은 사전 확률 또는 유사 복제를 가진 변수 제거—는 과다 매개변수화된 해에서 진짜 성분을 성공적으로 분리할 수 있다.
• 변분 가족의 선택은 성능에 큰 영향을 미치며, 약한 근사(예: Šingliar & Hauskrecht, 2006)는 고도의 과다 매개변수화조차도 완전한 복원을 방해한다.