[논문 리뷰] A Polynomial Neural Network with Controllable Precision and Human-Readable Topology for Prediction and System Identification.

Gang Liu, Jing Wang|arXiv (Cornell University)|2020. 04. 08.

Neural Networks and Applications참고 문헌 20인용 수 9

한 줄 요약

이 논문은 테일러 전개 유사 구조를 사용하여 정확도를 깊이로 정밀하게 제어할 수 있고 내부 메커니즘이 투명한 제어 가능하고 해석 가능한 다항식 신경망(CR-PNN)을 제안한다. CR-PNN는 표준 인공신경망(ANN)에 비해 훈련 속도가 5배 빠르고 추론 속도가 10배 빠르며, 합성 데이터와 실제 세계 데이터에서 뛰어난 일반화 능력과 전역 최적화 능력을 보인다.

ABSTRACT

Although artificial neural networks (ANNs) are successful, there is still a concern among many over their black box nature. Why do they work? Could we design a transparent network? This paper presents a controllable and readable polynomial neural network (CR-PNN) for approximation, prediction, and system identification. CR-PNN is simple enough to be described as one small formula, so that we can control the approximation precision and explain the internal structure of the network. CR-PNN, in fact, essentially is the fascinating Taylor expansion in the form of network. The number of layers represents precision. Derivatives in Taylor expansion are exactly imitated by error back-propagation algorithm. Firstly, we demonstrated that CR-PNN shows excellent analysis performance to the black box system through ten synthetic data with noise. Also, the results were compared with synthetic data to substantiate its search easily towards the global optimum. Secondly, it was verified, by ten real-world applications, that CR-PNN brought better generalization capability relative to the typical ANNs that approximate depended on the nonlinear activation function. Finally, 200,000 repeated experiments, with 4898 samples, demonstrated that CR-PNN is five times more efficient than typical ANN for one epoch and ten times more efficient than typical ANN for one forward-propagation. In short, compared with the traditional neural networks, the novelties and advantages of CR-PNN include readability of the internal structure, easy to find global optimal solution, lower computational complexity, and likely better robustness to real-world approximation. (We're strong believers in Open Source, and provide CR-PNN code for others. GitHub: this https URL)

연구 동기 및 목표

• 기존 인공신경망(ANN)의 흑박상자 성향을 해결하기 위해 인간이 이해할 수 있는 구조를 가진 모델을 설계하는 것.
• 테일러 급수 전개와 유사하게 깊이를 통해 근사 정밀도를 정밀하게 제어할 수 있도록 하는 것.
• 실제 예측 및 시스템 식별 작업에서 일반화 능력과 강인성을 향상시키는 것.
• 표준 ANNs에 비해 계산 복잡도를 줄이고 훈련 및 추론 속도를 향상시키는 것.
• 비선형 활성 함수 기반 네트워크에서 흔히 발생하는 국소 최소값을 피할 수 있도록 전역 최적화를 촉진하는 것.

제안 방법

• CR-PNN는 각 층이 테일러 전개의 고차항에 해당하는 다항식 네트워크로 구성되어 있어 체계적인 정밀도 제어가 가능하다.
• 오차 역전파를 사용하여 도함수를 계산하며, 이는 테일러 급수의 도함수 계산을 직접 모방한다.
• 수학적으로 간결한 아키텍처로, 단일 수식으로 표현 가능하여 투명성과 해석 가능성 보장.
• 네트워크 깊이가 근사 정밀도를 결정하며, 각 층이 고차항을 추가한다.
• 비선형 활성 함수를 회피하고 다항식 기저 함수를 사용하여 안정성과 해석 가능성 확보.
• 다항식 계수에 대한 기울기 하강법을 통해 훈련을 최적화하여 효율적인 수렴 달성.

실험 결과

연구 질문

• RQ1 인간이 이해할 수 있는 투명한 구조를 가진 신경망을 설계할 수 있는가? 이는 내부 기능을 완전히 해석 가능하게 만든다.
• RQ2 테일러 전개 기반 다항식 네트워크는 실제 응용에서 표준 ANNs보다 더 우수한 일반화 성능을 보일 수 있는가?
• RQ3 깊이를 통해 근사 정밀도를 테일러 급수의 차수와 유사하게 체계적으로 제어할 수 있는가?
• RQ4 CR-PNN는 훈련 및 추론 모두에서 표준 ANNs보다 더 계산 효율적인가?
• RQ5 비선형 활성 함수 기반 네트워크에서 흔히 발생하는 국소 최소값을 피할 수 있는 단순화된 볼록 유사 구조 덕분에 CR-PNN는 전역 최적해에 안정적으로 수렴하는가?

주요 결과

• CR-PNN는 10개의 실제 응용 분야에서 표준 ANNs에 비해 뛰어난 일반화 성능을 보였다.
• 4,898개 샘플로 200,000회 반복 실험한 결과, CR-PNN는 전방 전파 시 표준 ANNs보다 10배 빠른 속도를 기록했다.
• CR-PNN는 표준 ANNs 대비 1에포크당 훈련 속도가 5배 빠르며, 이는 낮은 계산 복잡도를 의미한다.
• 10개의 노이즈가 섞인 합성 데이터셋에서 뛰어난 성능을 보여, 강인성과 고정밀 근사 능력을 확인했다.
• CR-PNN의 구조 덕분에 전역 최적화가 용이했으며, 비선형 활성 함수 기반 네트워크에서 흔히 발생하는 국소 최소값을 피할 수 있었다.
• 네트워크의 투명하고 수식 기반의 설계 덕분에 내부 기능과 근사 메커니즘을 완전히 해석할 수 있었다.