[논문 리뷰] Adaptive Convolutional ELM For Concept Drift Handling in Online Stream Data

Arif Budiman, Mohamad Ivan Fanany외 1명|arXiv (Cornell University)|2016. 10. 07.

Data Stream Mining Techniques참고 문헌 41인용 수 9

한 줄 요약

이 논문은 계층적 특징 추출을 위한 합성곱 신경망(CNNs)과 빠르고 적응형 분류를 위한 탄성 ELM(E²LM)을 조합한 하이브리드 딥러닝 모델인 적응형 합성곱 ELM(ACNNELM)을 제안한다. 이는 두 가지 변종을 도입한다: 분류기 수준의 적응성을 위한 ACNNELM-1(적응형 OS-ELM(AOS-ELM) 사용), 그리고 행렬 연결을 통한 앙상블 수준의 강건성 확보를 위한 ACNNELM-2. 제안된 방법은 가상, 실재, 하이브리드 드리프트 조건 하에서 MNIST 및 not-MNIST 데이터셋에서 표준 ELM 및 CNN에 비해 뛰어난 정확도, 확장성, 개념 드리프트 대응 능력을 보였다.

ABSTRACT

In big data era, the data continuously generated and its distribution may keep changes overtime. These challenges in online stream of data are known as concept drift. In this paper, we proposed the Adaptive Convolutional ELM method (ACNNELM) as enhancement of Convolutional Neural Network (CNN) with a hybrid Extreme Learning Machine (ELM) model plus adaptive capability. This method is aimed for concept drift handling. We enhanced the CNN as convolutional hiererchical features representation learner combined with Elastic ELM (E$^2$LM) as a parallel supervised classifier. We propose an Adaptive OS-ELM (AOS-ELM) for concept drift adaptability in classifier level (named ACNNELM-1) and matrices concatenation ensembles for concept drift adaptability in ensemble level (named ACNNELM-2). Our proposed Adaptive CNNELM is flexible that works well in classifier level and ensemble level while most current methods only proposed to work on either one of the levels. We verified our method in extended MNIST data set and not MNIST data set. We set the experiment to simulate virtual drift, real drift, and hybrid drift event and we demonstrated how our CNNELM adaptability works. Our proposed method works well and gives better accuracy, computation scalability, and concept drifts adaptability compared to the regular ELM and CNN. Further researches are still required to study the optimum parameters and to use more varied image data set.

연구 동기 및 목표

• 시간이 지남에 따라 데이터 분포가 변화하는 온라인 대용량 스트림 데이터에서의 개념 드리프트 문제 해결.
• 동적이고 비정상적인 데이터에 어려움을 겪는 전통적인 기계학습 모델(예: ELM 및 CNN)의 한계를 극복.
• 진행 중인 데이터 개념 변화 상황에서도 높은 정확도를 유지할 수 있는 확장성 있고 적응형 딥러닝 프레임워크 개발.
• 분류기 수준 및 앙상블 수준의 적응 메커니즘을 도입하여 다양한 유형의 드리프트에 대한 강건성 향상.
• 가상 드리프트(입력 특징 변화), 실재 드리프트(클래스 수 변화), 하이브리드 드리프트 등 다양한 드리프트 시나리오에서의 효과성 입증.

제안 방법

• 이미지 데이터 스트림에서 공간적 표현을 자동으로 학습할 수 있도록 계층적 특징 추출기로 CNN 사용.
• CNN의 특징을 탄성 ELM(E²LM)과 병렬로 통합하여 실시간 학습이 가능한 빠른 지도 기반 분류기로 활용.
• ACNNELM-1에서 적응형 OS-ELM(AOS-ELM)을 구현하여 개념 드리프트 발생 시 분류기 수준에서 동적으로 파라미터 조정.
• 다양한 개념 상태에서 학습된 다수의 CNN-ELM 모델의 예측 행렬을 연결하여 ACNNELM-2를 구성함으로써 앙상블 수준의 적응성 확보.
• 암시적 통합을 위해 연결 전에 출력 차원을 맞추기 위해 패딩을 적용하여 앙상블 집계의 호환성 확보.
• 시간 시리즈 인덱싱을 사용하여 개념 변화를 추적하고, 탐지된 드리프트에 대응해 모델 적응 또는 재학습을 유도.

실험 결과

연구 질문

• RQ1 하이브리드 CNN-ELM 모델은 온라인 스트림 데이터에서 개념 드리프트를 효과적으로 처리할 수 있는가?
• RQ2 제안된 ACNNELM-1 모델은 분류기 수준에서 개념 드리프트에 어떻게 적응하는가?
• RQ3 모델 연결을 통한 앙상블 수준의 적응이 성능 향상에 얼마나 기여하는가?
• RQ4 가상 드리프트(입력 특징 변화), 실재 드리프트(클래스 수 변화), 하이브리드 드리프트 조건에서의 성능은 어떠한가?
• RQ5 개념 드리프트 하에서 표준 ELM 및 CNN에 비해 ACNNELM의 비교적 정확도와 확장성은 어떠한가?

주요 결과

• ACNNELM-1은 6c-1s 모델을 사용해 하이브리드 드리프트 조건 하에서 MNIST에서 93.42%의 정확도를 기록하여 기준 ELM 및 CNN보다 뚜렷이 뛰어난 성능을 보였다.
• ACNNELM-2는 6c-2s-12c-2s 모델을 사용해 확장된 MNIST에서 하이브리드 드리프트 조건 하에 95.94%의 정확도를 달성하여 앙상블 집계를 통한 뛰어난 성능을 입증했다.
• not-MNIST 데이터셋에서 ACNNELM-2는 하이브리드 드리프트 조건 하에 85.14%의 정확도를 기록하여 다양한 이미지 데이터셋에 대한 강력한 일반화 능력을 보였다.
• 모델는 예측값과 진짜값 간의 높은 일치도를 보이는 높은 코HEN의 카파 점수(예: 하이브리드 드리프트 시 MNIST에서 0.36)를 유지했다.
• ACNNELM-2는 앙상블 평균화와 모델 다양성의 이점 덕분에 ACNNELM-1보다 더 뛰어난 계산 확장성과 정확도를 보였다.
• 모델는 가상 드리프트(예: 확장된 MNIST에서 79.12% 정확도) 및 실재 드리프트(예: 클래스 수 증가 시 MNIST에서 93.61% 정확도) 모두에 대해 강건성을 입증했다.