[논문 리뷰] Restructuring, Pruning, and Adjustment of Deep Models for Parallel Distributed Inference

Afshin Abdi, Saeed Rashidi외 2명|arXiv (Cornell University)|2020. 08. 19.

Advanced Neural Network Applications참고 문헌 28인용 수 6

한 줄 요약

이 논문은 사전 훈련된 딥 뉴럴 네트워크를 재구조화하고 양자화하여 병렬 분산 추론에서 워커 간 의존성을 최소화하는 RePurpose 프레임워크를 제안한다. ℓ₀ 최적화와 Munkres 할당 알고리즘을 통해 뉴런 순서를 재정렬함으로써 RePurpose는 통신 및 계산 오버헤드를 감소시키며, 99% 희박성에서 엣지 시스템에서 계산 성능을 최대 11.01배 향상시키고 통신 성능을 3.04배 향상시킨다. 이는 모델 정확도를 유지하면서 이루어진다.

ABSTRACT

Using multiple nodes and parallel computing algorithms has become a principal tool to improve training and execution times of deep neural networks as well as effective collective intelligence in sensor networks. In this paper, we consider the parallel implementation of an already-trained deep model on multiple processing nodes (a.k.a. workers) where the deep model is divided into several parallel sub-models, each of which is executed by a worker. Since latency due to synchronization and data transfer among workers negatively impacts the performance of the parallel implementation, it is desirable to have minimum interdependency among parallel sub-models. To achieve this goal, we propose to rearrange the neurons in the neural network and partition them (without changing the general topology of the neural network), such that the interdependency among sub-models is minimized under the computations and communications constraints of the workers. We propose RePurpose, a layer-wise model restructuring and pruning technique that guarantees the performance of the overall parallelized model. To efficiently apply RePurpose, we propose an approach based on $\ell_0$ optimization and the Munkres assignment algorithm. We show that, compared to the existing methods, RePurpose significantly improves the efficiency of the distributed inference via parallel implementation, both in terms of communication and computational complexity.

연구 동기 및 목표

• 워커 간 동기화 및 데이터 전송 지연으로 인한 분산 딥 러닝 성능 저하 문제를 해결하기 위해.
• 기존 네트워크 아키텍처의 구조를 변경하지 않으면서 분산 추론 환경에서 병렬 서브모델 간 상호의존성을 최소화하기 위해.
• 데이터센터 및 자원 제약이 있는 센서 네트워크와 같은 이종 플랫폼에 사전 훈련된 모델을 효율적으로 구현하기 위해.
• 모델 정확도를 유지하면서도 구조적 뉴런 재정렬과 양자화를 통해 분산 추론에서 통신 및 계산 오버헤드를 줄이기 위해.

제안 방법

• RePurpose는 각 레이어별로 ℓ₀ 최적화를 사용해 부서지지 않는 연결을 식별하고 제거함으로써 워커 간 의존성을 최소화하는 방식으로 뉴런 순서를 재정렬한다.
• Munkres 할당 알고리즘을 활용해 뉴런을 워커에 최적으로 할당함으로써 워커 간 통신 부담을 감소시킨다.
• 뉴런 중요도 기반의 구조적 양자화를 적용하여 모델 성능을 유지하면서 파라미터 수를 줄인다.
• 기존 네트워크 아키텍처와 일반적인 아키텍처를 유지하여 사전 훈련된 모델에 대한 아키텍처 변경 없이 구현한다.
• 다양한 희박성 수준(50%, 75%, 90%, 99%)을 지원하여 다양한 하드웨어 제약 조건에서 정확도와 효율성의 균형을 맞춘다.
• 훈련 후 최적화를 위한 설계로, 재훈련 없이 다양한 플랫폼에 구현 가능하다.

실험 결과

연구 질문

• RQ1 기존 모델의 아키텍처를 변경하지 않으면서 분산 딥 뉴럴 네트워크 추론에서 워커 간 의존성을 어떻게 최소화할 수 있는가?
• RQ2 어떤 최적화 기법이 분산 시스템에서 통신 및 계산 오버헤드를 줄이기 위해 사전 훈련된 모델을 효과적으로 재구조화하고 양자화하는 데 유용한가?
• RQ3 뉴런 재정렬과 양자화가 데이터센터 및 엣지 환경에서 추론 속도 향상에 얼마나 기여할 수 있는가?
• RQ4 RePurpose는 분산 추론에서 통신 및 계산 비용을 크게 줄이면서도 모델 정확도를 어떻게 유지하는가?

주요 결과

• 데이터센터 플랫폼에서 99% 희박성(RP-99) 조건에서 RePurpose는 계산 성능을 최대 10.47배 향상시키고 통신 성능을 1.75배 향상시켰다.
• 엣지 시스템에서는 통신 대역폭이 낮고 통신 민감도가 높기 때문에 RP-99 조건에서 계산 성능을 최대 11.01배 향상시키고 통신 성능을 3.04배 향상시켰다.
• 모델 크기가 1K에서 32K 뉴런으로 증가함에 따라 엣지 시스템에서 총 추론 시간 개선률이 3.8배에 이르며, 통신이 여전히 주요 요인으로 작용한다.
• 워커 수가 증가할수록 통신 오버헤드가 증가하지만, 증가율은 점점 감소하여 32명의 워커일 경우 기준선 대비 2배로 수렴한다.
• 더 큰 모델(N=1M)의 경우 데이터센터에서는 계산이 O(N²) 비율로 증가하므로 총 시간이 2.06배 증가하지만, 통신은 O(N) 비율로 증가한다.
• 프레임워크는 성능 손실이 극히 미미하여, 구조적 재정렬과 양자화에도 불구하고 정확도가 안정적으로 유지됨을 보장한다.