[논문 리뷰] Polynomial Regression As an Alternative to Neural Nets

Xi Cheng, Bohdan B. Khomtchouk외 2명|arXiv (Cornell University)|2018. 06. 13.

Neural Networks and Applications참고 문헌 22인용 수 73

한 줄 요약

논문은 신경망이 사실상 각 계층마다 다항식 차수를 증가시키며 다항식 회귀에 의해 동작한다고 주장하고, 다항식 회귀(PR)가 많은 데이터셋에서 NN과 동일하거나 더 나은 성능을 낼 수 있음을 보여주며 polyreg를 실용적 대안으로 제시한다.

ABSTRACT

Despite the success of neural networks (NNs), there is still a concern among many over their "black box" nature. Why do they work? Here we present a simple analytic argument that NNs are in fact essentially polynomial regression models. This view will have various implications for NNs, e.g. providing an explanation for why convergence problems arise in NNs, and it gives rough guidance on avoiding overfitting. In addition, we use this phenomenon to predict and confirm a multicollinearity property of NNs not previously reported in the literature. Most importantly, given this loose correspondence, one may choose to routinely use polynomial models instead of NNs, thus avoiding some major problems of the latter, such as having to set many tuning parameters and dealing with convergence issues. We present a number of empirical results; in each case, the accuracy of the polynomial approach matches or exceeds that of NN approaches. A many-featured, open-source software package, polyreg, is available.

연구 동기 및 목표

• 이 theoretical NN ↔ PR 대응을 입증하고 계층 간에 NN이 더 높은 차수의 다항식처럼 동작하는 이유를 설명한다.
• 계층 간 다항식 차수의 증가가 NN의 수렴 및 과적합 문제를 어떻게 설명하는지 보여준다.
• 다양한 데이터셋에서 PR이 NN에 비해 맞추거나 능가할 수 있다는 경험적 근거를 제공한다.
• NN의 대안으로 PR을 적용하기 위한 실용적 가이드라인과 오픈 소스 도구(polyreg)를 제공한다.
• 신경망 맥락에서 다중공선성과 정규화에 대한 함의에 대해 논의한다.

제안 방법

• NN 활성화가 다항식 회귀를 근사하고 계층에 따라 차수가 증가한다는 비형식적 수학적 주장을 제공한다.
• 활성화 함수가 다항식으로 근사될 수 있음을 주장하는 Stone–Weierstrass theorem을 도입하여 NN이 PR 행동을 보임을 제시한다.
• ReLU를 부분적으로 다항식으로 간주하는 해석을 통해 부분적으로 다항 회귀(PPR) 관점을 이끌어낸다.
• 여러 데이터셋에 대해 PR( via polyreg )과 NN을 비교하고 평균 절대 예측 오차(MAPE) 또는 정확도 비율(PCC)을 보고한다.
• 다층 NN에서의 분산팽창인자(VIF)를 사용한 다중공선성을 분석하고 수렴 및 정규화에 대한 시사점을 해석한다.

실험 결과

연구 질문

• RQ1 일반적인 피드포워드 네트워크에서 구체적인 NN ↔ PR 대응이 성립하는가?
• RQ2 NN에서 계층 간에 유효 다항식 차수가 증가하는가, 그리고 이것이 학습 및 수렴에 어떤 영향을 미치는가?
• RQ3 적절한 다항식 특성을 가진 PR이 다양한 데이터셋에서 NN 성능과 맞먹거나 능가할 수 있는가?
• RQ4 NN ↔ PR 시각이 신경망의 다중공선성, 수렴, 정규화에 어떤 함의를 가지는가?

주요 결과

• NN은 각 은닉층이 증가할수록 근사 다항식 차수가 커지는 형태의 다항식 회귀의 한 형태로 볼 수 있다.
• 활성화 함수는 다항식으로 근사될 수 있어 NN이 사실상 PR을 구현한다는 것을 시사한다; ReLU는 부분적으로 다항식이므로 부분적으로 다항 회귀 해석으로 이어진다.
• PR은 다양한 데이터셋에서 NN의 성능과 일치하거나 능가하는 경우가 많으며, 여기에는 census wages, song year prediction, concrete strength, letter recognition, NYC taxi duration, forest cover, MOOCs certification, Crossfit rankings, cancer genomics, MNIST, 그리고 정치 선거 데이터가 포함된다.
• 깊이가 증가함에 따라 NN 계층의 다중공선성이 증가하는 경향이 있으며, 이는 고차 다항식과 유사한 특징으로, 수렴 문제를 완화하기 위한 계층별 점검 및 정규화의 필요성을 시사한다.
• polyreg 오픈 소스 패키지는 PR을 구현하고 NN 접근 방식과 비교하기 위한 실용적인 도구를 제공한다.