[논문 리뷰] A Polynomial Neural network with Controllable Precision and Human-Readable Topology II: Accelerated Approach Based on Expanded Layer.

Gang Liu, Jing Wang|arXiv (Cornell University)|2020. 06. 04.

Neural Networks and Applications참고 문헌 16인용 수 13

한 줄 요약

이 논문은 계산 효율성을 향상시키기 위해 확장된 레이어 구조를 사용하여 제어 가능하고 해석 가능한 다항식 신경망(CR-PNN II)의 가속 버전을 제안한다. 테일러 급수 근사법을 신경망 프레임워크로 재구성함으로써 CR-PNN II는 정밀도 제어와 인간이 읽을 수 있는 구조를 유지하면서도 CR-PNN I보다 훨씬 빠른 추론 속도를 달성하여 실시간 예측 및 시스템 식별 작업에 적합하다.

ABSTRACT

How about converting Taylor series to a network to solve the black-box nature of Neural Networks? Controllable and readable polynomial neural network (Gang transform or CR-PNN) is the Taylor expansion in the form of network, which is about ten times more efficient than typical BPNN for forward-propagation. Additionally, we can control the approximation precision and explain the internal structure of the network; thus, it is used for prediction and system identification. However, as the network depth increases, the computational complexity increases. Here, we presented an accelerated method based on an expanded order to optimize CR-PNN. The running speed of the structure of CR-PNN II is significantly higher than CR-PNN I under preserving the properties of CR-PNN I.

연구 동기 및 목표

• 딥 CR-PNN의 전방 전파에서 증가하는 계산 복잡도를 해결하기 위해.
• CR-PNN의 제어 가능한 정밀도와 인간이 읽을 수 있는 구조를 유지하면서 런타임 효율성을 향상시키기 위해.
• 기존 CR-PNN 프레임워크의 해석 가능성과 정확도를 유지하면서도 가속화된 아키텍처를 개발하기 위해.
• 성능 최적화를 통해 다항식 신경망을 실시간 응용 분야에 실질적으로 구현할 수 있도록 하기 위해.

제안 방법

• 계산 흐름을 재구성하기 위해 CR-PNN의 계산을 재구성하기 위해 확장된 레이어 구조를 도입하여 중복 연산을 감소시킨다.
• 구조화되고 인간이 읽을 수 있는 가중치와 활성화 함수를 갖춘 신경망으로 테일러 급수 근사법을 재구성한다.
• 확장된 레이어를 통해 병렬 처리와 최적화된 계산 경로를 구현하여 깊이에 따른 복잡도를 감소시킨다.
• 수학적 기초는 CR-PNN I과 동일하지만, 아키텍처 재설계를 통해 실행 속도를 향상시킨다.
• 네트워크의 토폴로지가 그대로 유지되며, 각 레이어는 테일러 전개의 다항식 항에 대응한다.

실험 결과

연구 질문

• RQ1 정밀도 제어를 희생시키지 않고 CR-PNN의 계산 효율성을 어떻게 향상시킬 수 있는가?
• RQ2 확장된 레이어 구조는 해석 가능성과 정확도를 유지하면서 추론 속도를 높일 수 있는가?
• RQ3 새로운 아키텍처는 원래의 CR-PNN I에 비해 성능 향상이 얼마나 되는가?
• RQ4 확장된 레이어는 더 깊은 네트워크에서 CR-PNN의 확장성에 어떤 영향을 미치는가?

주요 결과

• CR-PNN II는 원래 모델의 모든 핵심 특성을 유지하면서도 CR-PNN I보다 훨씬 높은 실행 속도를 달성한다.
• 확장된 레이어 구조는 근사 정밀도를 훼손하지 않으면서도 계산 복잡도를 효과적으로 감소시킨다.
• 모델은 여전히 완전히 해석 가능하며, 각 레이어가 테일러 급수 전개의 항에 대응한다.
• 이 방법은 더 빠른 전방 전파를 가능하게 하여 실시간 예측 및 시스템 식별에 적합한 모델이 된다.