[논문 리뷰] A Deep Learning Approach to Unsupervised Ensemble Learning

Uri Shaham, Xiuyuan Cheng외 5명|arXiv (Cornell University)|2016. 02. 06.

Mobile Crowdsensing and Crowdsourcing참고 문헌 31인용 수 25

한 줄 요약

이 논문은 조건부 독립 가정이 위반될 때도 작동하는 비지도 앙상블 학습을 위한 딥 러닝 접근법을 제안한다. 특히 제한된 볼츠만 머신(Restricted Boltzmann Machines, RBMs)을 사용하여 분류기 예측을 모델링한다. 수학적으로 RBM에 단일 은닉 노드를 사용할 경우 다우이드-스키너 모델과 동치임을 입증하고, 이를 기반으로 RBM을 활용한 딥 신경망(DNN) 아키텍처로 확장하여 시뮬레이션 및 실제 데이터셋(유전자 및 감마선 분류 작업 포함)에서 뛰어난 성능을 보였다.

ABSTRACT

We show how deep learning methods can be applied in the context of crowdsourcing and unsupervised ensemble learning. First, we prove that the popular model of Dawid and Skene, which assumes that all classifiers are conditionally independent, is {\em equivalent} to a Restricted Boltzmann Machine (RBM) with a single hidden node. Hence, under this model, the posterior probabilities of the true labels can be instead estimated via a trained RBM. Next, to address the more general case, where classifiers may strongly violate the conditional independence assumption, we propose to apply RBM-based Deep Neural Net (DNN). Experimental results on various simulated and real-world datasets demonstrate that our proposed DNN approach outperforms other state-of-the-art methods, in particular when the data violates the conditional independence assumption.

연구 동기 및 목표

• 다우이드-스키너 모델의 조건부 독립 가정이 실제 상황에서 자주 위반됨에 따라 발생하는 한계를 해결하기 위해.
• 비지도 앙상블 학습에서 분류기 간의 복잡한 의존성을 모델링할 수 있는 딥 러닝 프레임워크를 개발하기 위해.
• RBM 기반 딥 신경망을 활용하여 커뮤니티 라벨링 및 약한 지도 학습에서 라벨 복구 정확도를 향상시키기 위해.
• 지표 레이블이 없을 경우 최적의 DNN 아키텍처를 결정하는 실용적인 히우리스틱을 제공하기 위해.
• 딥 레이어의 특징 표현이 진정으로 라벨 정보를 유지하면서도 상관성이 거의 없어지는 정도를 어떻게 달성할 수 있는지 밝혀내기 위해.

제안 방법

• 다우이드-스키너 모델이 조건부 독립을 가정할 경우 단일 은닉 노드를 가진 제한된 볼츠만 머신(RBM)과 수학적으로 동치임을 증명하기 위해.
• 학습된 RBM을 사용하여 조건부 독립 가정 하에 진짜 라벨의 사후 확률을 추정하기 위해.
• RBM 프레임워크를 다중 RBM 레이어를 스택하여 복잡한 의존적 분류기 행동을 모델링하는 딥 신경망(DNN) 아키텍처로 확장하기 위해.
• 특이값 분해(Singular Value Decomposition, SVD) 기반 히우리스틱을 사용하여 DNN 아키텍처의 최적의 깊이와 너비를 결정하기 위해.
• 랜덤 구성 샘플링을 통한 정교한 초모수 튜닝을 수행하며, 확률적 경사 하강법을 사용하여 RBM 기반 DNN을 훈련하기 위해.
• 훈련 중 최적의 초모수 설정을 평가하고 선택하기 위해 평균 로그우도 근사법을 사용하기 위해.

실험 결과

연구 질문

• RQ1 다우이드-스키너 모델은 단일 은닉 노드를 가진 RBM으로 재해석될 수 있으며, 이러한 동치성은 더 효율적이거나 정확한 추론을 가능하게 하는가?
• RQ2 분류기 오류가 상호의존적일 경우 RBM 기반 딥 신경망을 비지도 앙상블 학습에 효과적으로 적용할 수 있는가?
• RQ3 제안된 DNN 아키텍처는 기존 최고 수준의 방법보다 뛰어나게 성능을 발휘하는가, 특히 조건부 독립 가정이 위반될 경우에?
• RQ4 DNN의 은닉 레이어에서 학습된 특징들이 진짜 라벨에 대한 분류 정보를 유지하면서 얼마나 상관성이 거의 없어지는가?
• RQ5 지표 레이블이 없을 경우 SVD 기반 히우리스틱이 RBM 기반 DNN의 아키텍처를 신뢰성 있게 결정할 수 있는가?

주요 결과

• RBM 기반 DNN는 시뮬레이션 및 실제 데이터셋에서 기존 최고 수준의 방법, 즉 다우이드-스키너 모델, CUBAM, L-SML을 모두 능가하는 성능을 보였다.
• DREAM S3 데이터셋(99개 분류기, 78,643개 인스턴스)에서 DNN는 균형 정확도 98.51 ± 0.01을 기록하여 다음으로 우수한 방법(98.2*)을 크게 앞섰다.
• 매직 감마선 전자기계계측기 데이터셋(16개 분류기씩 40개의 시뮬레이션 데이터셋)에서 DNN는 대부분의 데이터셋에서 모든 다른 방법보다 뛰어난 성능을 보였으며, SVD 기반 아키텍처는 일관되게 15-3-1 구성으로 나타났다.
• S3 데이터셋에서 진짜 라벨 조건 하에 은닉 레이어 특징들이 거의 완벽하게 상관성이 없었으며, 이는 DNN가 효과적으로 특징을 분리함을 시사한다.
• DREAM S1 데이터셋(124개 분류기)에서 DNN는 균형 정확도 98.42 ± 0.00을 기록하여 다음으로 좋은 방법(98.3*)을 능가했다.
• 초모수 튜닝이 매우 중요했으며, 랜덤 구성 샘플링과 로그우도 근사를 통해 최적의 학습률, 모멘타임, 정규화를 식별하였다.