[논문 리뷰] Efficient ConvNets for Analog Arrays

Malte J. Rasch, Tayfun Gokmen외 2명|arXiv (Cornell University)|2018. 07. 03.

Advanced Memory and Neural Computing참고 문헌 17인용 수 3

한 줄 요약

이 논문은 혼합 아날로그-디지털 하드웨어에서 학습을 가속화하기 위해 복수의 아날로그 어레이에 컨volutional 커널 행렬을 복제하고 계산을 랜덤하게 분산시키는 RAPA ConvNets를 제안한다. 파rameter 수가 증가함에도 불구하고 이 방법은 유사하거나 더 높은 정확도와 강건성을 달성하며, CIFAR-10에서 최대 128배의 학습 속도 향상과 완벽한 적대적 강건성까지의 격차를 64% 감소시킨다.

ABSTRACT

Analog arrays are a promising upcoming hardware technology with the potential to drastically speed up deep learning. Their main advantage is that they compute matrix-vector products in constant time, irrespective of the size of the matrix. However, early convolution layers in ConvNets map very unfavorably onto analog arrays, because kernel matrices are typically small and the constant time operation needs to be sequentially iterated a large number of times, reducing the speed up advantage for ConvNets. Here, we propose to replicate the kernel matrix of a convolution layer on distinct analog arrays, and randomly divide parts of the compute among them, so that multiple kernel matrices are trained in parallel. With this modification, analog arrays execute ConvNets with an acceleration factor that is proportional to the number of kernel matrices used per layer (here tested 16-128). Despite having more free parameters, we show analytically and in numerical experiments that this convolution architecture is self-regularizing and implicitly learns similar filters across arrays. We also report superior performance on a number of datasets and increased robustness to adversarial attacks. Our investigation suggests to revise the notion that mixed analog-digital hardware is not suitable for ConvNets.

연구 동기 및 목표

• 초기 ConvNet 레이어의 아날로그 어레이에 대한 낮은 매핑 효율성 문제를 해결하기 위해, 비록 일괄적인 행렬 연산이 가능하더라도 높은 순차적 계산을 겪는 문제를 해결한다.
• 혼합 아날로그-디지털 하드웨어에서 ConvNets의 효율적 학습을 가능하게 하기 위해 레이어당 효과적인 계산 시간을 단축시키는 것을 목표로 한다.
• 커널 복제를 통한 모델 병렬화가 하드웨어 가속을 가능하게 하면서도 성능을 유지하거나 향상시킬 수 있는지 조사한다.
• 복제된 커널 아키텍처에서의 무작위 타일링이 암묵적 정규화와 적대적 강건성에 어떤 영향을 미치는지 탐구한다.

제안 방법

• 각 컨볼루션 커널 행렬을 $n_t$개의 별도의 아날로그 어레이(타일)에 복제하고, 입력 패치들을 랜덤하게 분배한다.
• 각 타일을 별도의 파라미터 세트로 독립적으로 학습시어 아날로그 어레이에서의 병렬 실행을 가능하게 한다.
• 추론 시에는 타일 간의 다수결 투표를 통해 예측을 집계하고 강건성을 향상시킨다.
• 타일에 이미지 패치를 할당하는 전략을 무작위 할당으로 설정하여 명시적 가중치 공유를 피한다.
• 단순화된 분석 모델을 통해 타일 간 유사한 필터 수렴 경향을 보여주는 암묵적 정규화 효과를 분석한다.
• 성능과 강건성을 다양한 데이터셋에서 검증하기 위해 RAPA ConvNet을 일반 하드웨어에서 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 작은 커널 크기를 가진 아날로그 어레이에서 커널 복제를 통한 모델 병렬화가 효율을 향상시킬 수 있는가?
• RQ2 복제된 커널 행렬에 걸쳐 계산을 랜덤하게 할당하는 것이 암묵적 정규화와 안정적인 수렴을 이끌어내는가?
• RQ3 표준 ConvNets에 비해 RAPA ConvNet이 화이트박스 적대적 공격에 대해 얼마나 더 강건한가?
• RQ4 RAPA 아키텍처는 아날로그 하드웨어에서의 빠른 속도 향상과 함께 전통적인 ConvNets의 정확도를 유지하거나 초월할 수 있는가?
• RQ5 타일 수를 늘릴수록 학습 안정성, 일반화 능력, 적대적 강건성에 어떤 영향을 미치는가?

주요 결과

• 혼합 풀링을 사용할 경우, RAPA ConvNet은 85 에포크 후 CIFAR-10에서 테스트 오차 19%를 기록하며 원본 네트워크의 82 에포크와 유사한 성능을 달성한다.
• With $n_t = (128,32,8)$, 네트워크는 $ε \approx 33$ 에서 CIFAR-10에서 83.97%의 강건한 정확도를 달성하여 완벽한 강건성까지의 격차를 64% 감소시켰다.
• 원본 네트워크보다 최대 20배 더 많은 컨볼루션 파라미터를 유지하면서도 성능을 유지하였으며, 과적합 현상 없이 훈련 오차 15%를 기록하였다.
• 완전한 타일 간 병렬 처리를 가정할 경우, 아날로그 어레이에서 각 학습 에포크당 이론적 128배의 속도 향상이 가능하다.
• 무작위 타일링은 신뢰도 안정화 기제로 작용하여 과도한 확신 예측을 줄이고 적대적 강건성을 향상시킨다.
• 하이퍼파ram터 변화에 대해 강건한 성능을 보이며, 높은 타일 수에서도 안정적인 학습과 성능 유지를 보여, 더 큰 네트워크로의 확장 가능성을 시사한다.