[논문 리뷰] Sobolev Training for Neural Networks

Wojciech Marian Czarnecki, Simon Osindero외 3명|arXiv (Cornell University)|2017. 06. 15.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 60

한 줄 요약

본 논문은 대상 도함수를 신경망 학습에 포함시키는 Sobolev Training을 제시하여 회귀, 증류, 합성 그래디언트 맥락에서 데이터 효율성과 일반화성을 향상시킨다.

ABSTRACT

At the heart of deep learning we aim to use neural networks as function approximators - training them to produce outputs from inputs in emulation of a ground truth function or data creation process. In many cases we only have access to input-output pairs from the ground truth, however it is becoming more common to have access to derivatives of the target output with respect to the input - for example when the ground truth function is itself a neural network such as in network compression or distillation. Generally these target derivatives are not computed, or are ignored. This paper introduces Sobolev Training for neural networks, which is a method for incorporating these target derivatives in addition the to target values while training. By optimising neural networks to not only approximate the function's outputs but also the function's derivatives we encode additional information about the target function within the parameters of the neural network. Thereby we can improve the quality of our predictors, as well as the data-efficiency and generalization capabilities of our learned function approximation. We provide theoretical justifications for such an approach as well as examples of empirical evidence on three distinct domains: regression on classical optimisation datasets, distilling policies of an agent playing Atari, and on large-scale applications of synthetic gradients. In all three domains the use of Sobolev Training, employing target derivatives in addition to target values, results in models with higher accuracy and stronger generalisation.

연구 동기 및 목표

• 신경망의 패러다임으로서 Sobolev Training을 도입한다.
• 도함수와 값의 일치를 함께 달성하는 것이 가능하고 유익하다는 이론적 정당성을 제시한다.
• 회귀 벤치마크, 정책 증류, 그리고 합성 그래디언트 시나리오 전반에 걸친 실증적 근거를 제공한다.

제안 방법

• 표준 손실을 확장하여 일차(및 고차) 도함수 매칭 항을 포함시킨 Sobolev 손실을 사용한다.
• 계산 비용을 줄이기 위해 도함수를 무작위 벡터에 투사하는 확률적 변형을 제공한다.
• ReLU 네트워크에 대한 Sobolev 공간에서의 보편 근사성을 이론적으로 정립하고 샘플 복잡도 이점을 논의한다.
• 세 가지 영역에서 응용을 보여준다: 최적화 벤치마크의 회귀, Atari 정책 증류, 그리고 대규모 합성 그래디언트 학습.

실험 결과

연구 질문

• RQ1 Sobolev Training이 표준 값만 학습하는 방식에 비해 샘플 복잡도를 줄일 수 있는가?
• RQ2 Sobolev Training을 적용한 신경망이 실제로 함수 값과 도함수를 모두 정확히 근사하는가?
• RQ3 증류 및 합성 그래디언트 맥락에서 Sobolev Training의 성능 영향은 어느 정도인가?
• RQ4 ReLU와 같은 현대 활성화 함수에서 Sobolev 공간에서의 근사에 대한 이론적 보장은 무엇인가?

주요 결과

• Sobolev Training은 벤치마크 함수들에서 적은 데이터 환경에서 근사 오차를 낮추고 일반화 성능을 향상시킨다.
• 증류 과제에서 Sobolev Training은 대상 정책에 더 근접한 증류 정책을 생성한다(테스트 KL 발산이 더 낮다).
• 합성 그래디언트의 경우 Sobolev Training은 최종 정확도와 안정성을 향상시키며, ImageNet 규모 실험을 포함한 기준 그래디언트 방법보다 우수하다.
• 본 논문은 ReLU 네트워크가 Sobolev 공간에서 보편 근사할 수 있음을(K=1) 보이는 이론적 결과를 제시하고 샘플 복잡도 이점을 논의한다.
• 실험 결과는 회귀, Atari 정책 증류, 대규모 합성 그래디언트 적용에 걸쳐 있으며 기준보다 일관되게 개선된다.