[논문 리뷰] Online Deep Learning: Learning Deep Neural Networks on the Fly

Doyen Sahoo, Quang Pham외 2명|arXiv (Cornell University)|2017. 11. 10.

Data Stream Mining Techniques인용 수 5

한 줄 요약

이 논문은 스트리밍 데이터에서 딥 네ural 네트워크(DNN)를 훈련할 수 있도록, 다양한 은닉층에서 유도된 다수의 출력 분류기 간의 헤징 전략을 통해 네트워크 깊이를 동적으로 조정하는 새로운 온라인 딥 러닝 프레임워크인 헤지 백프로파게이션(HBP)을 제안한다. HBP는 얕은 네트워크와 깊은 네트워크 간의 지식 공유를 통해, 정적 및 개념 이동 상황 모두에서 표준 온라인 백프로파게이션과 고정 깊이 DNN보다 더 뛰어난 수렴성과 강건성을 확보한 효과적인 온라인 학습을 가능하게 한다.

ABSTRACT

Deep Neural Networks (DNNs) are typically trained by backpropagation in a batch learning setting, which requires the entire training data to be made available prior to the learning task. This is not scalable for many real-world scenarios where new data arrives sequentially in a stream form. We aim to address an open challenge of "Online Deep Learning" (ODL) for learning DNNs on the fly in an online setting. Unlike traditional online learning that often optimizes some convex objective function with respect to a shallow model (e.g., a linear/kernel-based hypothesis), ODL is significantly more challenging since the optimization of the DNN objective function is non-convex, and regular backpropagation does not work well in practice, especially for online learning settings. In this paper, we present a new online deep learning framework that attempts to tackle the challenges by learning DNN models of adaptive depth from a sequence of training data in an online learning setting. In particular, we propose a novel Hedge Backpropagation (HBP) method for online updating the parameters of DNN effectively, and validate the efficacy of our method on large-scale data sets, including both stationary and concept drifting scenarios.

연구 동기 및 목표

• 데이터가 순차적으로 도착하고 전체 배치 저장이 불가능한 온라인 환경에서 딥 네럴 네트워크(DNN)를 훈련하는 데 도전하는 것.
• 기본 온라인 백프로파게이션의 한계를 극복하기 위해, 기울기 소실, 느린 수렴, 부적절한 네트워크 깊이로 인한 열악한 성능을 해결하는 것.
• 검증 데이터가 필요 없이 데이터 기반으로 모델 용량을 자동으로 조정하는 것—초기에는 얕게 시작하여 더 많은 데이터가 도착함에 따라 점차 깊어지도록 하는 것.
• 온라인 환경에서 예측 성능과 학습 효율성을 향상시키기 위해 얕은 네트워크와 깊은 네트워크 구성 요소 간의 지식 공유를 촉진하는 것.
• 개념 이동과 대규모 스트리밍 데이터를 지원하는 확장성 있고 메모리 효율적인 온라인 DNN 훈련 프레임워크를 개발하는 것.

제안 방법

• 온라인 학습 중 다중 깊이 예측을 가능하게 하기 위해, 각 은닉층에 출력 분류기를 부착하여 DNN 아키텍처를 확장하는 것.
• 다양한 깊이의 분류기 예측을 동적으로 가중치 부여하는 데 헤지 알고리즘을 사용하는 수정된 백프로파게이션 알고리즘인 헤지 백프로파게이션(HBP)을 도입하는 것.
• 각 분류기의 신뢰도 점수를 온라인 성능 기반으로 유지 및 업데이트하여, 시스템이 각 학습 단계에서 가장 효과적인 깊이를 적응적으로 선택할 수 있도록 하는 것.
• 다른 깊이의 분류기 간에 기울기를 공유하면서 모든 네트워크 파라미터를 동시에 업데이트하는 방식으로 백프로파게이션을 확장하여 지식 전이를 가능하게 하는 것.
• 모든 깊이별 분류기에서의 손실을 가중치 합으로 조합한 온라인 학습 목표를 설정하고, 누적 성능 기반으로 헤지 전략에 따라 가중치를 업데이트하는 것.
• 사전에 최적 깊이를 알지 못해도, 시스템이 시간이 지남에 따라 어느 깊이가 가장 뛰어난 예측 성능을 내는지 학습함으로써 자동 모델 선택을 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 데이터가 순차적으로 도착하고 전체 배치 훈련이 불가능한 온라인 환경에서 딥 네럴 네트워크를 효과적으로 훈련할 수 있는 방법은 무엇인가?
• RQ2 검증 데이터나 데이터 복잡성에 대한 사전 지식 없이, 온라인 DNN 훈련에서 네트워크 깊이를 동적으로 조정할 수 있는 메커니즘은 무엇인가?
• RQ3 얕은 네트워크와 깊은 네트워크 구성 요소 간의 지식을 어떻게 공유하여 온라인 학습에서 수렴성과 예측 성능을 향상시킬 수 있는가?
• RQ4 다양한 깊이별 분류기 간의 헤징 전략이 고정 깊이 또는 표준 온라인 백프로파게이션보다 온라인 DNN 성능을 향상시킬 수 있는가?
• RQ5 제안된 방법은 스트리밍 환경에서의 개념 이동과 다양한 데이터 복잡성에 대해 얼마나 강건한가?

주요 결과

• 헤지 백프로파게이션(HBP)은 HIGGS 데이터셋에서 테스트 오차 0.2615를 기록하여, 표준 온라인 백프로파게이션(0.2868)과 테스트한 모든 고정 깊이 DNN보다 낮은 오차를 달성했다.
• HBP는 초기 단계와 후기 단계 모두에서 최고의 고정 깊이 DNN(예: 20층)의 성능을 맞추거나 초월하여, 뛰어난 적응성과 유연성을 입증했다.
• 분류기 간 가중치 분포가 시간이 지남에 따라 변화함: 초기에는 얕은 분류기(0.5% 데이터)가 지배적이었고, 60~80%의 데이터 도달 시 깊이 5~7층의 분류기가 두드러지게 부상함으로써 효과적인 동적 깊이 적응이 이루어졌음을 시사했다.
• HBP는 기본 네트워크 깊이에 대해 강건했으며, 12-, 16-, 20-, 30층 네트워크에서 테스트 오차가 0.2609~0.2620 사이로 매우 미세하게 변동함. 반면 표준 온라인 백프로파게이션은 깊이 증가에 따라 오차가 크게 증가함.
• 개념 이동 시나리오(CD1 및 CD2)에서도 HBP는 안정된 성능을 유지하여, 실제 스트리밍 데이터에서 흔히 발생하는 분포 이동에 대한 내성적 강건성을 입증했다.
• 얕은 네트워크를 활용해 초기 학습 단계에서 더 빠른 수렴을 달성했고, 후기 단계에서는 깊은 표현을 활용함으로써 속도와 표현 능력의 균형을 이루었다.