[논문 리뷰] Distributed Averaging CNN-ELM for Big Data

Arif Budiman, Mohamad Ivan Fanany외 1명|arXiv (Cornell University)|2016. 10. 07.

Machine Learning and ELM참고 문헌 22인용 수 7

한 줄 요약

이 논문은 MapReduce를 사용하여 확장 가능한 분산 평균 CNN-ELM 프레임워크를 제안하여 대용량 데이터에 대한 확장성을 향상시킨다. 데이터 파artitions에 대해 병렬로 다수의 CNN-ELM 모델을 훈련하고, 그들의 가중치를 평균내어 최종 모델을 구성함으로써 훈련 시간을 크게 단축시키면서도 확장된 MNIST 및 not-MNIST 데이터셋에서 경쟁 가능한 정확도를 유지한다. 다만 성능는 데이터 분포와 하이퍼파ram터에 민감하다.

ABSTRACT

Increasing the scalability of machine learning to handle big volume of data is a challenging task. The scale up approach has some limitations. In this paper, we proposed a scale out approach for CNN-ELM based on MapReduce on classifier level. Map process is the CNN-ELM training for certain partition of data. It involves many CNN-ELM models that can be trained asynchronously. Reduce process is the averaging of all CNN-ELM weights as final training result. This approach can save a lot of training time than single CNN-ELM models trained alone. This approach also increased the scalability of machine learning by combining scale out and scale up approaches. We verified our method in extended MNIST data set and not-MNIST data set experiment. However, it has some drawbacks by additional iteration learning parameters that need to be carefully taken and training data distribution that need to be carefully selected. Further researches to use more complex image data set are required.

연구 동기 및 목표

• 대용량 데이터에 대한 단일 머신 딥 러닝 모델의 확장성 한계를 해결하기 위해 확장 가능한 스케일아웃 접근 방식을 제안한다.
• CNN-ELM을 MapReduce와 통합하여 분산 훈련을 분류기 수준에서, 행렬 연산 수준이 아닌 방식으로 구현한다.
• 다수의 비동기적으로 훈련된 CNN-ELM 모델의 가중치 평균화 방법의 효과성을 평가한다.
• 데이터 파artitioning, 학습률, 반복 횟수의 영향을 모델 성능에 미치는 영향을 조사한다.
• 스케일업 및 스케일아웃 전략을 조합하여 CNN-ELM의 효율적이고 병렬적인 훈련을 가능하게 한다.

제안 방법

• 맵 단계는 비동기 병렬 SGD를 사용하여 서로 다른 데이터 파artitions에서 다수의 CNN-ELM 모델을 독립적으로 훈련한다.
• 리듀스 단계는 모든 모델의 CNN 레이어에서의 커널 가중치와 ELM 레이어에서의 출력 가중치를 평균화한다.
• 수렴성과 가중치 평균화 성능 향상을 위해 동적 학습률을 적용한 정밀 조정된 확률적 경사 하강법(SGD)을 적용한다.
• 이 프레임워크는 MapReduce 패러다임을 활용하여 일반 장비에 걸쳐 계산을 분산시켜 수평적 확장성을 가능하게 한다.
• CNN은 지도 학습 방식으로 계층적 특징을 추출하고, ELM은 빠르고 단일 레이어 분류기로 기능한다.
• 다양한 SGD 반복 후에 가중치 평균화를 적용하여 안정성과 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 분산 CNN-ELM 환경에서 훈련 반복 횟수에 따라 모델 성능은 어떻게 변하는가?
• RQ2 다양한 수의 데이터 파artition에서 가중치 평균화 방법의 효과는 어떠한가?
• RQ3 다양한 반복 횟수에서 평균화된 CNN-ELM 모델의 성능 결과는 얼마나 일관성 있는가?
• RQ4 파artition 간 데이터 분포가 최종 모델 정확도에 어떤 영향을 미치는가?
• RQ5 분산 CNN-ELM의 성능는 전체 데이터셋으로 훈련된 단일 CNN-ELM 모델과 비교해 어떻게 되는가?

주요 결과

• 확장된 MNIST 데이터셋에서 평균화된 CNN-ELM 모델은 4개의 파artition과 5회의 반복 후 92.40% ± 0.26의 테스트 정확도를 기록했으며, 이는 전체 단일 모델 CNN-ELM(92.41% ± 0.36)의 성능과 일치한다.
• not-MNIST 데이터셋에서 2개 파artition 모델은 5회의 반복 후 66.85% ± 2.43의 정확도를 기록했으며, 이는 단일 모델 기준선(73.72% ± 1.32)보다 낮았다.
• not-MNIST에서 5개 파artition로 구성된 평균화 모델은 성능이 59.59% ± 0.24로 떨어져, 비균일하게 분포된 데이터에서 파artition 수가 증가할수록 성능이 악화됨을 보여주었다.
• 학습률 선택이 잘못되면 성능 저하와 국소 최적점에 갇히는 문제가 발생하여, 동적 학습률 스케줄링의 필요성을 시사한다.
• 여러 노드에서 병렬 모델 훈련을 가능하게 하여 훈련 시간을 크게 단축시켜 확장성의 이점을 입증했다.
• 성능는 데이터 분포에 매우 민감했으며, 균일한 분포(예: 확장된 MNIST)에서는 더 나은 평균화가 가능했고, 왜곡된 분포(예: not-MNIST)에서는 일반화 성능이 저하되었다.