[논문 리뷰] Deep Broad Learning - Big Models for Big Data

Nayyar A. Zaidi, Geoffrey I. Webb외 2명|arXiv (Cornell University)|2015. 09. 04.

Neural Networks and Applications참고 문헌 18인용 수 5

한 줄 요약

이 논문은 복잡한 고차원 특성 상호작용을 모델링할 수 있는 딥 러닝의 능력과 대량의 특성을 활용할 수 있는 브로드 러닝의 능력을 결합한 새로운 알고리즘인 딥 브로드 러닝(DBL)을 제안한다. $n$차까지의 로지스틱 회귀 모델을 효율적으로 최적화하기 위해 유사 생성-판별적 접근 방식을 사용함으로써, 최소한의 튜닝으로 대규모 데이터에서 최신 기술 수준의 정확도를 달성하고, 외부 메모리 학습을 지원하여, 포커핸드 및 인구조사 수입과 같은 대규모 데이터셋에서도 매우 경쟁력 있는 성능을 보여준다.

ABSTRACT

Deep learning has demonstrated the power of detailed modeling of complex high-order (multivariate) interactions in data. For some learning tasks there is power in learning models that are not only Deep but also Broad. By Broad, we mean models that incorporate evidence from large numbers of features. This is of especial value in applications where many different features and combinations of features all carry small amounts of information about the class. The most accurate models will integrate all that information. In this paper, we propose an algorithm for Deep Broad Learning called DBL. The proposed algorithm has a tunable parameter $n$, that specifies the depth of the model. It provides straightforward paths towards out-of-core learning for large data. We demonstrate that DBL learns models from large quantities of data with accuracy that is highly competitive with the state-of-the-art.

연구 동기 및 목표

• 대규모 데이터에 대해 정확한 모델을 구축하는 데 도전하기 위해, 딥 러닝이 복잡한 상호작용을 모델링할 수 있는 능력과 브로드 러닝이 대량의 특성을 활용할 수 있는 능력을 융합한다.
• 개별 특성이 목표 클래스에 대해 작은 정보량을 지닌 경우에도 효율적으로 대규모 데이터셋을 처리할 수 있는 확장 가능한 학습 알고리즘을 개발한다.
• 튜니블한 깊이 $n$과 확률적 경사 하강법을 통한 효율적인 파rameter 최적화를 갖춘 모델을 설계하여, 대규모 데이터셋에 대해 외부 메모리 학습을 가능하게 한다.
• 하이브리드 생성-판별 학습이 최소한의 하이퍼파rameter 튜닝으로도 높은 정확도를 달성할 수 있음을 입증하며, 기존의 전통적 모델보다 대규모 데이터에서 뛰어난 성능을 보인다.

제안 방법

• 모든 $n$-way 특성 상호작용(1에서 3까지)을 모델링할 수 있도록 로지스틱 회귀를 확장한 딥 브로드 러닝 프레임워크인 DBL$^n$을 제안한다.
• 유사 생성-판별적 접근 방식을 사용한다: 생성적 최대우도 추정치로 판별적 로지스틱 회귀를 사전 조건화하여 수렴 속도를 가속화한다.
• 확률적 경사 하강법(SGD)을 사용하여 효율적인 최적화를 수행함으로써 빠른 수렴과 전역 최소값 도달을 가능하게 하며, 외부 메모리 학습을 지원한다.
• 계층적 확장 $h\text{DBL}^n$을 도입하여 $n=1$에서 $n$까지의 모델을 통합함으로써, 고차원 상호작용이 훈련 데이터에 존재하지 않을 경우 낮은 차수의 상호작용으로의 후퇴를 가능하게 한다.
• 고차원 상호작용을 효율적으로 처리하기 위해 희소 구현 기법을 적용하며, 특히 데이터에 존재하지 않는 조합이 많은 경우 유리하다.
• 현재 버전에서는 범주형 데이터만 지원하며, 모델링 이전에 수치형 특성을 이산화해야 한다.

실험 결과

연구 질문

• RQ1 하이브리드 생성-판별적 접근 방식은 대규모 데이터에 대해 고차원 로지스틱 회귀 모델($\text{LR}^n$)을 효율적으로 최적화할 수 있는가?
• RQ2 복잡한 다변량 상호작용을 포착하는 딥 및 브로드 러닝 모델은 대규모 데이터셋에서 최신 기술 수준의 모델보다 더 높은 정확도를 달성하는가?
• RQ3 제안된 DBL 프레임워크는 효율적인 SGD 최적화를 통해 매우 대규모 데이터셋으로 확장되고 외부 메모리 학습을 지원하는가?
• RQ4 특성이 목표 클래스에 대해 미세한 증거만을 지닌 경우, DBL$^n$의 성능은 랜덤 포레스트 및 기타 앙상블 방법보다 어떻게 비교되는가?
• RQ5 고차원 상호작용이 훈련 데이터에 존재하지 않을 경우, $n$-차수 상호작용의 계층적 모델링이 모델의 강건성을 향상시키는가?

주요 결과

• DBL$^3$는 MIT-FaceSetC 데이터셋에서 0-1 손실이 가장 낮은 0.0005를 기록했으며, 8개의 대규모 데이터셋 중 6개에서 두 번째로 뛰어난 성능을 보였다. 랜덤 포레스트와 A2DE를 모두 앞섰다.
• 인구조사 수입 데이터셋에서 DBL$^3$는 0-1 손실이 0.0056으로, A2DE(0.01348)와 RF(0.0687)보다 유의미하게 낮았다.
• MIT-FaceSetB 데이터셋에서 DBL$^2$는 RMSE가 가장 낮은 0.0123를 기록했으며, 8개 데이터셋 중 5개에서 두 번째로 뛰어난 성능을 보였다. 랜덤 포레스트와 A2DE를 모두 앞섰다.
• Kddcup 데이터셋에서 DBL$^3$는 0-1 손실 0.0013과 RMSE 0.1494를 기록했으며, 이는 최고 성능에 속했고, 랜덤 포레스트와 A2DE를 모두 능가했다.
• DBL$^1$(WANBIA-C와 동일)는 여러 데이터셋에서 경쟁력 있는 성능을 보였으며, 하이브리드 접근 방식의 기초를 확인시켰다.
• 모델는 최소한의 튜닝으로도 매우 빠른 수렴을 보였으며, 이는 확률적 경사 하강법을 통한 대규모 외부 메모리 학습에 적합함을 시사한다.