[논문 리뷰] Online Semi-Supervised Learning with Deep Hybrid Boltzmann Machines and Denoising Autoencoders

Alexander G. Ororbia, C. Lee Giles외 1명|arXiv (Cornell University)|2015. 11. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 27

한 줄 요약

이 논문은 깊이 있는 하이브리드 아키텍처인 '딥 하이브리드 볼츠만 머신(3-DHBM)'과 '딥 하이브리드 노이즈 제거 오토인코더(3-DHDA)'를 제안하며, 모든 레이어에서 분류적 및 생성적 목표를 동시에 최적화하여 게으른 사전 훈련에서 발생하는 '표현 이동 문제'를 피한다. 3-DHBM은 MNIST에서 15.80% ± 0.9의 테스트 오차를 기록하여 기준 모델들을 능가하고, 준지도 학습 분야에서 최신 기술 수준에 근접한 성능을 달성한다.

ABSTRACT

Two novel deep hybrid architectures, the Deep Hybrid Boltzmann Machine and the Deep Hybrid Denoising Auto-encoder, are proposed for handling semi-supervised learning problems. The models combine experts that model relevant distributions at different levels of abstraction to improve overall predictive performance on discriminative tasks. Theoretical motivations and algorithms for joint learning for each are presented. We apply the new models to the domain of data-streams in work towards life-long learning. The proposed architectures show improved performance compared to a pseudo-labeled, drop-out rectifier network.

연구 동기 및 목표

• 게으른 레이어별 사전 훈련 방식이 깊이 있는 생성 모델에서 불안정한 학습과 일반화 성능 열악함을 초래할 수 있는 표현 이동 문제를 해결하기 위해.
• 모든 레이어에서 파라미터를 동시에 최적화하는 통합된 학습 프레임워크를 개발하여, 추상화 수준 간의 전역적 조율을 가능하게 하기 위해.
• 원칙적인 하이브리드 모델링을 통해 레이블이 있는 데이터와 없는 데이터를 활용하여 온라인 데이터 스트림 환경에서의 준지도 학습 성능을 향상시키기 위해.
• 이전의 하이브리드 모델에서 수직적 집계 방식으로 인한 최적 성능 이하의 성능을 개선하기 위해, 각 레이어에서 분류적 및 생성적 학습을 통합한 통합 아키텍처를 도입하기 위해.

제안 방법

• 제안된 딥 하이브리드 볼츠만 머신(3-DHBM)은 제한된 볼츠만 머신의 스택으로 구성되며, 각 레이어가 공동 분포 p(y, h_l)를 모델링하고 생성적 및 분류적 파라미터를 동시에 학습할 수 있도록 한다.
• 딥 하이브리드 노이즈 제거 오토인코더(3-DHDA)는 노이즈 제거 정규화를 사용하여 모든 레이어에서 재구성 및 분류 목표를 동시에 학습하는 딥 오토인코더의 변종이다.
• 분류적 및 생성적 기울기를 동시에 계산하고 역전파하는 통합 학습 알고리즘을 적용하여, 레이어별 사전 훈련을 피하고 표현 이동을 감소시킨다.
• 재구성 손실(생성 모델링을 위해)과 분류 손실(분류 성능을 위해)을 균형 잡는 공동 목표 함수를 사용하며, 하이퍼파rameter λ와 β가 이 균형을 조절한다.
• 데이터 스트림 환경에서의 온라인 학습을 위해 파라미터를 점진적으로 업데이트하며, 인간 유아 학습을 모델로 삼아 수명 주기적 점진적 학습 과제로 모델링한다.
• 수렴성과 예측 정확도 향상을 위해 '상향-하향' 알고리즘과 유사한 가중치가 부여된 분류적 기울기 업데이트를 적용한다.

실험 결과

연구 질문

• RQ1 모든 레이어에서 생성적 및 분류적 목표를 동시에 최적화하는 것이 게으른 레이어별 사전 훈련 방식보다 준지도 학습 성능을 향상시키는가?
• RQ2 독립된 전문가의 수직적 집계를 피하는 통합 하이브리드 아키텍처가 별도의 레이어별 전문가를 조합하는 모델보다 성능이 뛰어나게 되는가?
• RQ3 공동 학습 방식으로 훈련된 딥 하이브리드 모델이 레이블이 부족하고 입력 분포가 변화할 수 있는 온라인 데이터 스트림 환경에서도 안정적인 성능을 유지할 수 있는가?
• RQ4 제안된 하이브리드 모델의 성능이 MNIST 및 20 Newsgroups와 같은 표준 벤치마크에서 최신 기술 수준의 준지도 학습 방법과 비교해 어떻게 되는가?

주요 결과

• 3-DHBM은 레이블이 100개 뿐인 MNIST에서 테스트 오차 15.80% ± 0.9를 기록하여, DROPNN+PL(16.15%) 및 EMBEDNN(16.86%) 등 강력한 기준 모델들을 능가했다.
• 3-DHDA 모델은 20 Newsgroups 데이터셋에서 테스트 오차 39.45% ± 0.1을 기록하여, DROPNN+PL(44.39%) 및 3-DHBM(44.67%)를 크게 앞섰다.
• 3-DHBM은 최신 기술 수준의 DROPNN+PL+DAE(10.49% 오차)를 넘어선 것은 아니지만, 이 방법은 사전 훈련을 사용하므로 제안된 하이브리드 프레임워크에 사전 훈련을 조합하면 추가적인 성능 향상이 가능할 것으로 보인다.
• 3-DHDA 모델은 MNIST에서 성능이 열악했으며(21.24% ± 0.6), 저자들은 이에 대해 λ, β 및 노이즈 확률과 같은 하이퍼파rameter에 매우 민감한 것에 기인한다고 설명한다. 이는 더 나은 하이퍼파rameter 튜닝이 필요함을 시사한다.
• 통합된 하이브리드 학습 프레임워크는 DHBM 및 DHDA를 넘어서 일반화 가능하며, 공동 생성적 및 분류적 기울기를 계산할 수 있는 다중 수준 신경망 아키텍처에 적용 가능하다.