[논문 리뷰] Reproducing Activation Function for Deep Learning

Senwei Liang, Liyao Lyu외 2명|arXiv (Cornell University)|2021. 01. 13.

Advanced Neural Network Applications참고 문헌 75인용 수 10

한 줄 요약

이 논문은 깊이 학습 정확도를 향상시키기 위해 학습 가능한 선형 조합 기반 기본 함수(예: 다항식, 삼각함수, 가우시안)를 사용하는 데이터 기반, 뉴런 단위의 활성화 메커니즘인 재생 활성화 함수(Reproducing Activation Functions, RAFs)를 소개한다. 전통적인 근사 도구인 푸리에 및 웨이블릿 기반을 효과적으로 재현함으로써 RAFs는 스펙트럼 편향을 감소시키고, 신경장군 커널(Neural Tangent Kernel)의 조건수를 향상시키며, 기준 모델 대비 99%까지 낮은 오차로 PDE 및 고유값 문제를 해결하는 데 성공한다.

ABSTRACT

We propose reproducing activation functions (RAFs) to improve deep learning accuracy for various applications ranging from computer vision to scientific computing. The idea is to employ several basic functions and their learnable linear combination to construct neuron-wise data-driven activation functions for each neuron. Armed with RAFs, neural networks (NNs) can reproduce traditional approximation tools and, therefore, approximate target functions with a smaller number of parameters than traditional NNs. In NN training, RAFs can generate neural tangent kernels (NTKs) with a better condition number than traditional activation functions lessening the spectral bias of deep learning. As demonstrated by extensive numerical tests, the proposed RAFs can facilitate the convergence of deep learning optimization for a solution with higher accuracy than existing deep learning solvers for audio/image/video reconstruction, PDEs, and eigenvalue problems. With RAFs, the errors of audio/video reconstruction, PDEs, and eigenvalue problems are decreased by over 14%, 73%, 99%, respectively, compared with baseline, while the performance of image reconstruction increases by 58%.

연구 동기 및 목표

• 깊이 학습에서 저주파 해에 대한 편향을 해결하기 위해, 모델이 진동성 또는 특이 함수를 다루기 어려운 문제를 해결한다.
• 이미지/비디오 재구성, PDE 해법, 고유값 계산과 같은 작업에서 깊이 학습의 근사 정확도를 향상시키기 위해 노력한다.
• 다항식, 푸리에, 웨이블릿 등 고전적 근사 도구를 적응적으로 재현할 수 있는 활성화 함수를 개발함으로써 지수 수렴 속도를 달성한다.
• 신경장군 커널(NTK)의 조건수를 감소시켜 최적화를 가속화하고 일반화 성능을 향상시킨다.
• 활성화 함수 구조에 사전 지식을 통합함으로써 더 적은 파라미터로도 효율적이고 정확한 신경망 학습을 가능하게 한다.

제안 방법

• 기본 함수(예: x, x², sin(x), exp(-x²))의 학습 가능한 선형 조합으로 구성된 뉴런 단위의 활성화 함수인 RAFs를 제안한다.
• 각 뉴런이 서로 다른 활성화 함수를 사용할 수 있도록 네트워크를 설계하여 복잡한 목표 함수를 민첩하게 근사할 수 있도록 한다.
• 이론적 분석을 통해 RAFs가 고전적 근사 체계를 모방함으로써 차원에 종속되지 않는 지수 수렴 속도를 달성할 수 있음을 보여준다.
• 경계 조건을 강제 적용하는 잔차 네트워크에 RAFs를 통합하여 PDE 해법기에서 물리적 일관성을 확보한다.
• 학습률 감소를 적용한 Adam 옵timizer를 사용하고, 상대적 L² 테스트 오차 및 NTK 조건수를 평가 지표로 성능을 평가한다.
• 기본 함수의 스케일링 파라미터(예: 가우시안에 대해 0.1)를 고정하여 NTK에서의 진동 반응을 향상시켜 고주파 문제에서의 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 학습 가능한 뉴런 단위 활성화 함수가 이미지 재구성 및 PDE 해법과 같은 다양한 작업에서 깊이 학습 정확도를 향상시킬 수 있는가?
• RQ2 RAFs가 신경망 내에서 정규직교 다항식, 푸리에 기저, 웨이블릿과 같은 고전적 근사 체계를 효과적으로 재현할 수 있는가?
• RQ3 RAFs의 사용이 더 잘 조절된 신경장군 커널(NTK)을 만들어 최적화에서의 스펙트럼 편향을 줄이는가?
• RQ4 표준 활성화 함수 대비 RAFs가 고차원성 및 비선형 PDE에서 근사 오차를 얼마나 줄일 수 있는가?
• RQ5 특히 진동성 또는 특이 해를 갖는 경우에 RAFs가 입력 차원에 관계없이 지수 수렴 속도를 달성할 수 있는가?

주요 결과

• RAFs는 기준 모델 대비 오디오 및 비디오 작업에서 재구성 오차를 14% 이상 감소시키고, 이미지 재구성에서는 58% 감소시켰다.
• PDE 문제에서는 표준 깊이 학습 해법기 대비 오차를 73% 감소시켰다.
• 고유값 문제에서는 기존 방법 대비 오차를 최대 99%까지 감소시켰다.
• 신경장군 커널(NTK)의 조건수가 RAFs를 사용할 경우 기존 활성화 함수보다 현저히 낮아져 최적화 안정성이 향상됨을 나타냈다.
• RAFs는 푸리에 및 웨이블릿 기반과 같은 고전적 근사 체계를 모방함으로써 차원에 종속되지 않는 지수 수렴 속도를 달성했다.
• 실험 결과, RAFs의 스케일링 파라미터(예: 가우시안에 대해 0.1)가 NTK에서의 진동 반응을 향상시켜 고주파 문제에서의 성능 향상에 기여함을 확인했다.