[논문 리뷰] AXNet: ApproXimate computing using an end-to-end trainable neural network

Zhenghao Peng, Xuyang Chen외 5명|arXiv (Cornell University)|2018. 07. 27.

Ferroelectric and Negative Capacitance Devices참고 문헌 20인용 수 4

한 줄 요약

AXNet는 히드라드 곱셈 융합을 사용한 다중 작업 학습을 통해 근사기와 예측기의 융합을 단일 아키텍처로 통합한 엔드 투 엔드 학습 가능한 신경망을 제안한다. 이는 기존 반복 학습 방법 대비 훈련 시간을 최대 90% 감소시키며, 근사 품질과 에너지 효율성을 유지하면서도 호출률을 50.7% 향상시킨다.

ABSTRACT

Neural network based approximate computing is a universal architecture promising to gain tremendous energy-efficiency for many error resilient applications. To guarantee the approximation quality, existing works deploy two neural networks (NNs), e.g., an approximator and a predictor. The approximator provides the approximate results, while the predictor predicts whether the input data is safe to approximate with the given quality requirement. However, it is non-trivial and time-consuming to make these two neural network coordinate---they have different optimization objectives---by training them separately. This paper proposes a novel neural network structure---AXNet---to fuse two NNs to a holistic end-to-end trainable NN. Leveraging the philosophy of multi-task learning, AXNet can tremendously improve the invocation (proportion of safe-to-approximate samples) and reduce the approximation error. The training effort also decrease significantly. Experiment results show 50.7% more invocation and substantial cuts of training time when compared to existing neural network based approximate computing framework.

연구 동기 및 목표

• 기존 약간의 계산 오차를 허용하는 프레임워크에서 별도의 근사기와 예측기 신경망 간의 비효율성과 최적화되지 않은 협업 문제를 해결하기 위해.
• 근사기와 예측기를 하나의 공동 학습 가능한 네트워크로 융합함으로써 훈련 시간과 모델 복잡도를 줄이기 위해.
• 공동 최적화를 통해 근사 품질 제어 및 호출률(안전하게 근사 가능한 입력의 비율)을 향상시키기 위해.
• 최소한의 하드웨어 오버헤드로 NPU 아키텍처에 효율적으로 구현 가능하도록 하기 위해.
• 반복 학습 및 가중치 공유 기법보다 뛰어난 성능을 보이는 새로운 확장 가능한 융합 메커니즘을 제공하기 위해.

제안 방법

• AXNet는 공유된 제어 벡터와 은닉층 가중치 간의 히드라드 곱셈 연산을 통해 근사기와 예측기를 융합하여 공동 최적화를 가능하게 한다.
• 예측 헤드는 근사기의 은닉층에서 유도되며, 학습 가능한 제어 벡터와 요소별 곱셈을 통해 생성된다.
• 표준 백프로파게이션을 사용하여 다중 작업 손실 함수를 최적화하며, 이는 근사 정확도를 위한 회귀 손실과 예측 신뢰도를 위한 분류 손실을 포함한다.
• 융합 메커니즘은 아키텍처 제약 없이 파라미터 공유를 가능하게 하여 중복을 줄이고 모델 크기를 감소시킨다.
• 비용 효율적인 NPU 구현 전략을 제안하며, 처리 요소에 근사 서브넷 유닛을 추가하여 최소한의 하드웨어 비용을 초래한다.
• 스케일러비리티와 성능 평가를 위해 Bessel, FFT, JPEG, Sobel 함수를 포함한 다양한 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 분리된 학습 방식에 비해 통합된 신경망 아키텍처가 근사 정확도와 안전한 근사 가능한 입력 예측을 공동 최적화하는 데 더 효과적인가?
• RQ2 공동 손실 함수를 사용한 엔드 투 엔드 학습이 반복 학습 대비 훈련 시간을 단축시키고 호출률을 향상시키는가?
• RQ3 제안된 융합 메커니즘이 모델 파라미터 수를 얼마나 줄이고 근사 품질을 유지하거나 향상시키는가?
• RQ4 AXNet은 다양한 신경망 구조와 벤치마크 함수에 대해 어떻게 스케일링되는가?
• RQ5 AXNet은 최소한의 하드웨어 수정으로 실제 NPU에 효율적으로 구현 가능하며, 뚜렷한 에너지 효율성 향상을 이룰 수 있는가?

주요 결과

• AXNet는 반복 학습 방법 대비 50.7% 높은 호출률을 달성하여 안전하게 근사 가능한 입력 비율이 크게 향상됨을 시사한다.
• 반복 학습 대비 훈련 시간이 최대 90% 감소했으며, Bessel 및 JPEG 벤치마크에서 각각 13.8배와 32배의 속도 향상이 관찰되었다.
• JPEG 벤치마크에서 이전 방법 대비 파라미터 수를 60% 감소시켰지만 유사한 진짜 호출 수준을 유지했다.
• 히드라드 곱셈을 사용한 융합 기법은 첫 번째 은닉층과 두 번째 은닉층에서의 융합 위치에 관계없이 유의미한 성능 차이가 없음을 확인하여 강건성을 입증했다.
• 모든 벤치마크에서 에너지 효율성이 향상되었으며, 더 높은 호출률과 낮은 훈련 비용 덕분에 AXNet는 반복 학습 및 단일 통과 학습 방법을 모두 능가했다.
• 제안된 NPU 배포 전략은 각 처리 요소에 근사 서브넷을 약간 확장하기만 하여 최소한의 하드웨어 오버헤드를 초래했다.