[논문 리뷰] Bypass Exponential Time Preprocessing: Fast Neural Network Training via Weight-Data Correlation Preprocessing

Josh Alman, Jiehao Liang외 3명|arXiv (Cornell University)|2022. 11. 25.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 논문은 과다 파rameter화된 ReLU 신경망의 학습을 가속화하기 위해 가중치-데이터 상관관계 트리를 사용하는 새로운 전처리 방법을 제안한다. 뉴런의 발화에서 발생하는 희소성 특성을 활용함으로써, 전처리 시간이 오직 O(nmd)에 불과하고 반복당 학습 시간이 o(nmd)에 도달하게 되어, 이전 방법들이 지수적 전처리 시간을 요구했던 데 비해 크게 뛰어나며, 표준 복잡도 추측 하에 이론적 보장을 유지한다.

ABSTRACT

Over the last decade, deep neural networks have transformed our society, and they are already widely applied in various machine learning applications. State-of-art deep neural networks are becoming larger in size every year to deliver increasing model accuracy, and as a result, model training consumes substantial computing resources and will only consume more in the future. Using current training methods, in each iteration, to process a data point $x \in \mathbb{R}^d$ in a layer, we need to spend $Θ(md)$ time to evaluate all the $m$ neurons in the layer. This means processing the entire layer takes $Θ(nmd)$ time for $n$ data points. Recent work [Song, Yang and Zhang, NeurIPS 2021] reduces this time per iteration to $o(nmd)$, but requires exponential time to preprocess either the data or the neural network weights, making it unlikely to have practical usage. In this work, we present a new preprocessing method that simply stores the weight-data correlation in a tree data structure in order to quickly, dynamically detect which neurons fire at each iteration. Our method requires only $O(nmd)$ time in preprocessing and still achieves $o(nmd)$ time per iteration. We complement our new algorithm with a lower bound, proving that assuming a popular conjecture from complexity theory, one could not substantially speed up our algorithm for dynamic detection of firing neurons.

연구 동기 및 목표

• 대규모 딥 신경망 학습의 증가하는 계산 비용을 해결하기 위해.
• 데이터 및 넓이에 대해 다항식 전처리 시간과 이차 이하의 반복당 복잡도를 갖는 학습 알고리즘을 설계하기 위해.
• 이전 최고 성능 방법들이 최근접 이웃 데이터 구조를 사용함으로써 발생하는 지수적 전처리 시간 장벽을 극복하기 위해.
• 학습 중에 발화 뉴런을 동적으로 탐지하기 위한 결정적이고 실용적인 해법을 제공하기 위해.
• 표준 복잡도 추측 하에 하한선을 설정하기 위해.

제안 방법

• 각 데이터 포인트당 하나의 이진 탐색 트리를 구성하여, 각 데이터 포인트와 모든 m개의 가중치 간의 내적을 유지한다.
• 각 트리는 리프에 내적을 저장하고 내부 노드에서는 최대값을 상향으로 전파하여 효율적인 범위 쿼리가 가능하도록 한다.
• 트리 구조를 활용해 상향식 탐색을 통해 발화 뉴런(내적 ≥ 임계값 b)을 동적으로 탐지한다.
• 업데이트가 효율적으로 지원된다: 가중치가 수정될 경우, 각 데이터 포인트당 O(log m)개의 노드만 갱신되며, 총 시간은 O(nd log m)이다.
• 활성 뉴런 수를 제어하고 발화 집합의 희소성을 확보하기 위해 임계값 b = √(0.4 log m)를 사용한다.
• 기울기 하강법에 이 데이터 구조를 통합하여, 오직 활성 뉴런에 한해 계산을 제한함으로써 반복당 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 다항식 전처리 시간으로만 이루어진 상태에서 o(nmd) 반복당 학습 시간을 달성할 수 있는가?
• RQ2 신경망 학습 중에 동적으로 발화 뉴런을 탐지하기 위한 결정적이고 실용적인 데이터 구조를 설계할 수 있는가?
• RQ3 표준 복잡도 가정 하에 동적 발화 뉴런 탐지의 이론적 최대 가속도는 무엇인가?
• RQ4 가중치-데이터 상관관계는 과다 파rameter화된 네트워크에서 효율적인 희소 활성화 탐지에 어떻게 기여하는가?
• RQ5 정확성과 효율성을 반복 간에 유지하면서도 이차 이하의 학습 시간을 유지할 수 있는가?

주요 결과

• 제안된 알고리즘은 평균 반복 실행 시간이 Õ(m⁴ᐟ⁵n²d)에 도달하며, m ≫ n 인 경우 o(nmd)에 해당한다.
• 전처리 시간은 O(nmd)이며, 이는 이전 방법들이 O(2^d) 또는 O(n^d)의 시간을 요구했던 것에 비해 크게 향상된 것이다.
• 알고리즘은 동적 업데이트와 쿼리에 대해 각각 O(nd log m) 및 O(min{|Q|, m⁴ᐟ⁵n}) 시간을 지원한다.
• 알고리즘은 무작위성을 사용하지 않으며 결정적이므로 재현성과 신뢰성을 향상시킨다.
• 직교 벡터 추측 하에 하한선이 증명되었으며, o(nmd) 반복당 시간을 더 크게 향상시키기 위해서는 표준 복잡도 가정을 깨야 한다는 것을 보여준다.
• 이론적 분석을 통해 실증적으로 효율성이 입증되었으며, 평균적으로 각 데이터 포인트당 오직 O(m⁴ᐟ⁵n)개의 뉴런만 발화하므로 희소 계산이 가능하다.