[논문 리뷰] Sparse evolutionary Deep Learning with over one million artificial neurons on commodity hardware

Shiwei Liu, Decebal Constantin Mocanu외 3명|TU/e Research Portal|2019. 01. 26.

Evolutionary Algorithms and Applications참고 문헌 73인용 수 6

한 줄 요약

이 논문은 다층퍼셉트론(MLP)을 위한 진정으로 희소한 Sparse Evolutionary Training(SET)의 구현을 소개하며, GPU 가속 없이도 일반적인 CPU에서 수백만 개 이상의 뉴런을 갖는 모델을 엔드 투 엔드로 훈련할 수 있도록 한다. 희소 데이터 구조와 Cython 최적화 연산을 활용하여 99.9%의 희소성을 달성하면서도, 표본 수가 적은 고차원의 마이크로어레이 데이터셋에서 밀도 모델과 양손 모델을 능가하는 성능을 보인다.

ABSTRACT

Artificial Neural Networks (ANNs) have emerged as hot topics in the research community. Despite the success of ANNs, it is challenging to train and deploy modern ANNs on commodity hardware due to the ever-increasing model size and the unprecedented growth in the data volumes. Particularly for microarray data, the very-high dimensionality and the small number of samples make it difficult for machine learning techniques to handle. Furthermore, specialized hardware such as Graphics Processing Unit (GPU) is expensive. Sparse neural networks are the leading approaches to address these challenges. However, off-the-shelf sparsity inducing techniques either operate from a pre-trained model or enforce the sparse structure via binary masks. The training efficiency of sparse neural networks cannot be obtained practically. In this paper, we introduce a technique allowing us to train truly sparse neural networks with fixed parameter count throughout training. Our experimental results demonstrate that our method can be applied directly to handle high dimensional data, while achieving higher accuracy than the traditional two phases approaches. Moreover, we have been able to create truly sparse MultiLayer Perceptrons (MLPs) models with over one million neurons and to train them on a typical laptop without GPU, this being way beyond what is possible with any state-of-the-art techniques.

연구 동기 및 목표

• GPU 가속 없이 메모리 제약이 있는 일반 하드웨어에서 대규모 희소 딥 네트워크를 훈련하는 데 도전하는 것.
• 이진 마스크나 사전 훈련된 모델에 의존하는 기존의 희소 훈련 방법의 한계를 극복하여 실용적인 훈련 효율성을 향상시키는 것.
• 효율적인 희소 데이터 구조를 사용하여 CPU에서 직접 엔드 투 엔드로 훈련 가능한 매우 희소하고 대규모의 MLP(100만 개 이상의 뉴런)를 가능하게 하는 것.
• 기하학적 차원의 저주로 인해 전통적인 방법이 어려움을 겪는 고차원, 표본 수가 적은 마이크로어레이 데이터셋에서 뛰어난 성능을 보여주는 것.
• 표현형 데이터나 격자형이 아닌 데이터(예: 유전자 발현 데이터 등)를 위한 표본화 가능하고 메모리 효율적인 솔루션을 제공하는 것.

제안 방법

• SciPy의 내장 희소 데이터 구조와 Cython 최적화 커널을 사용하여 이진 마스크를 피하는 진정으로 희소한 Sparse Evolutionary Training(SET)의 구현을 제안한다.
• 훈련 전반에 걸쳐 고정된 파라미터 수와 희소성을 유지하는 희소 행렬 연산을 설계하여 메모리 및 계산 자원의 효율적 사용을 가능하게 한다.
• 적응형 희소 연결: 훈련 중에 적합도 기준에 따라 연결이 동적으로 재구성되며, 프루닝 및 재훈련 루프를 피한다.
• 희소 가중치 행렬을 압축 희소 행렬(CSR) 형식으로 저장하여 효율적인 순방향 및 역방향 전파를 구현한 SET-MLP를 구현한다.
• 딥 러닝 프레임워크에 의존하지 않고 표준 라이브러리(SciPy, Python 3)만을 사용하여 순수한 파이썬/Cython 파ip라인에 희소 SET-MLP를 통합한다.
• 표본 수가 적고 고차원적인 환경에서 과적합을 완화하기 위해 드롭아웃 정규화를 적용하며, 특히 85개의 표본만 있는 GLI-85 데이터셋에서 효과적이다.

실험 결과

연구 질문

• RQ1 GPU 없이 일반 랩탑에서 100만 개 이상의 뉴런을 갖는 진정으로 희소한 엔드 투 엔드 훈련 가능한 MLP를 효율적으로 훈련시킬 수 있는가?
• RQ2 제안된 희소 SET 구현이 고차원, 표본 수가 적은 마이크로어레이 데이터셋에서 정확도와 효율성 면에서 밀도 모델과 프루닝 모델을 능가하는가?
• RQ3 초고차원의 표본 수가 적은 표본형 데이터에서 과적합 및 데이터 이동 문제를 효과적으로 완화할 수 있는가?
• RQ4 희소 구현이 파라미터 수와 메모리 사용량을 얼마나 줄일 수 있으며, 성능을 유지하거나 향상시키는가?
• RQ5 GPU 지원 없이도 CPU 코어에 병렬화할 경우, 수천만 개의 뉴런으로까지 확장 가능한가?

주요 결과

• 제안된 희소 SET-MLP는 이중 히든 레이어를 갖는 백혈병 데이터셋에서 88.12%의 정확도를 달성하여 밀도 모델과 프루닝 모델을 능가했다.
• CLL-SUB-111 데이터셋에서 이중 히든 레이어 SET-MLP는 81.11%의 정확도를 기록했으며, 한 개 또는 세 개의 레이어를 가진 모델은 성능이 열 劣했다.
• 85개의 표본만 있는 GLI-85 데이터셋에서 이중 히든 레이어 SET-MLP는 초기에 100% 정확도를 달성했지만, 200 에포크 후 약 80%로 떨어졌다. 이는 과적합의 징후였다.
• 0.5의 드롭아웃 비율을 적용함으로써 성능이 안정화되었으며, 떨어짐 없이 높은 정확도를 유지함으로써 과적합에 대한 강건성을 확인했다.
• 한 개의 히든 레이어를 가진 SET-MLP는 100% 정확도에 도달하지 못했으며, 이는 고차원 입력에 대해 충분한 모델 용량이 필요함을 보여주었다.
• 대규모 MLP에서 약 99.9%의 희소성을 달성하면서도 네 개의 마이크로어레이 데이터셋에서 최신 기술 수준의 성능을 유지하거나 초월했다.