[논문 리뷰] Avoiding overfitting of multilayer perceptrons by training derivatives

Vsevolod I. Avrutskiy|arXiv (Cornell University)|2018. 02. 28.

Neural Networks and Applications참고 문헌 19인용 수 3

한 줄 요약

이 논문은 다층 퍼셉트론을 타겟 함수의 4차 미분까지 고려하여 훈련하는 확장된 역전파 방법을 제안하며, 과적합을 크게 감소시킨다. 훈련 중 함수 값과 그 도함수를 모두 최소화함으로써, 기존의 역전파 방법과 비교해 큰 네트워크에서 테스트 대 훈련 비용 비율을 1.5로 낮추었으며, 희소한 훈련 격자 조건에서도 동일한 성능을 달성한다.

ABSTRACT

Resistance to overfitting is observed for neural networks trained with extended backpropagation algorithm. In addition to target values, its cost function uses derivatives of those up to the $4^{\mathrm{th}}$ order. For common applications of neural networks, high order derivatives are not readily available, so simpler cases are considered: training network to approximate analytical function inside 2D and 5D domains and solving Poisson equation inside a 2D circle. For function approximation, the cost is a sum of squared differences between output and target as well as their derivatives with respect to the input. Differential equations are usually solved by putting a multilayer perceptron in place of unknown function and training its weights, so that equation holds within some margin of error. Commonly used cost is the equation's residual squared. Added terms are squared derivatives of said residual with respect to the independent variables. To investigate overfitting, the cost is minimized for points of regular grids with various spacing, and its root mean is compared with its value on much denser test set. Fully connected perceptrons with six hidden layers and $2\cdot10^{4}$, $1\cdot10^{6}$ and $5\cdot10^{6}$ weights in total are trained with Rprop until cost changes by less than 10% for last 1000 epochs, or when the $10000^{\mathrm{th}}$ epoch is reached. Training the network with $5\cdot10^{6}$ weights to represent simple 2D function using 10 points with 8 extra derivatives in each produces cost test to train ratio of $1.5$, whereas for classical backpropagation in comparable conditions this ratio is $2\cdot10^{4}$.

연구 동기 및 목표

• 다층 퍼셉트론에서 과적합 문제를 해결하기 위해 훈련 과정에 고차 미분을 통합하는 것.
• 희소한 훈련 데이터 조건에서 기존의 역전파 방법을 초월해 일반화 성능을 향상시키는 데에 고차 미분 훈련이 기여하는지 조사하는 것.
• 최대 5×10⁶개의 가중치를 가진 네트워크 용량이 과적합에 미치는 영향을 평가하는 것.
• 2차원 및 5차원 영역에서의 함수 근사 및 2차원 푸아송 방정식 해법에서 유도된 훈련을 통한 성능 비교

제안 방법

• 네트워크 출력과 타겟 함수 간의 제곱 차이뿐만 아니라, 입력에 대한 4차 미분까지 포함한 비용 함수를 확장한다.
• 비용 변화가 최근 1000 에포크 동안 10% 이하로 감소하거나 최대 10,000 에포크에 도달할 때까지 Rprop 최적화를 사용한다.
• 다양한 간격을 가진 정규 격자에서 2차원 및 5차원 함수 근사 및 2차원 푸아송 방정식 해법에 이 방법을 적용한다.
• 희소한 훈련 격자에 비해 고밀도 테스트 세트에서의 비용 제곱근 평균을 계산하여 테스트 세트와 훈련 세트의 성능을 비교한다.
• 분석적 도함수가 제공되지 않을 경우, 특히 1차 도함수의 경우 유한 차분 스텐실을 사용해 도함수를 통합한다.
• 테스트 비용 평균과 훈련 비용 평균의 비율을 통해 과적합을 평가하며, 이 비율이 낮을수록 일반화 성능이 뛰어나다는 것을 의미한다.

실험 결과

연구 질문

• RQ1 타겟 함수의 고차 미분을 훈련에 포함시킴으로써 다층 퍼셉트론에서 과적합을 줄일 수 있는가?
• RQ2 4차 미분까지 훈련하는 것이 기존의 역전파 방법 대비 테스트 대 훈련 비용 비율에 어떤 영향을 미치는가?
• RQ3 네트워크 크기가 증가함에 따라(최대 5×10⁶ 파rameter) 또는 훈련 데이터가 희소해질 경우, 도함수 훈련의 이점이 감소하는가 아니면 유지되는가?
• RQ4 함수 근사 및 PDE 해법 과제에서 도함수 간의 상호보완성이 일반화 성능 향상에 얼마나 기여하는가?
• RQ5 도함수를 포함했을 때, 다양한 입력 차원(2차원 대비 5차원)과 문제 유형(함수 근사 대 PDE 해법)에서 과적합 비율은 어떻게 변화하는가?

주요 결과

• 10개의 훈련 점과 점당 8개의 도함수 항을 가진 2차원 함수 근사에서, 테스트 대 훈련 비용 비율은 1.5였으며, 기존의 역전파 방법에서는 2×10⁴였다.
• 5×10⁶개의 네트워크 가중치를 가진 경우, 2차원 푸아송 방정식 해법에서 단 11개의 훈련 점만으로도 과적합 비율이 1.03 이하(로그 기준 ≤ 0.03)를 유지했다.
• 훈련에 포함된 도함수의 최대 차수를 높일수록 테스트 대 훈련 비용 비율이 크게 감소하였으며, 고차 미분 훈련이 일반화 성능 향상에 기여했다.
• 매우 희소한 훈련 격자(예: 2차원에서 11개 점) 조건에서도 도함수 훈련을 통해 테스트와 훈련 정밀도가 8% 이내로 유사하게 유지되었다.
• 2×10⁴에서 5×10⁶ 개의 가중치까지 다양한 네트워크 크기에서 과적합이 낮게 유지되었으며, 이는 모델 용량에 대해 강건함을 시사한다.
• 관찰된 과적합 감소의 원인은 고차 근사와 도함수 간의 상호보완성으로, 이는 저차 미분 항의 정밀도를 향상시킨다.