[논문 리뷰] Recurrent Rational Networks.

Quentin Delfosse, Patrick Schramowski외 2명|arXiv (Cornell University)|2021. 02. 18.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 4

한 줄 요약

이 논문은 학습 가능한 유리 활성화 함수를 사용하는 새로운 신경망 아키텍처인 순환 유리망(RNN)을 제안한다. 이 활성화 함수는 잔차 연결과 함께 닫혀 있어 안정적인 깊은 스택 구축이 가능하다. 반복을 활용해 자기 정규화(self-regularization)를 이루는 모델은 이미지 분류와 딥 강화학습에서 뚜렷한 성능 향상을 이룩하며, 고정된 활성화 함수를 사용하는 표준 네트워크보다 훨씬 높은 학습 능력을 보인다.

ABSTRACT

Latest insights from biology show that intelligence does not only emerge from the connections between the neurons, but that individual neurons shoulder more computational responsibility. Current Neural Network architecture design and search are biased on fixed activation functions. Using more advanced learnable activation functions provide Neural Networks with higher learning capacity. However, general guidance for building such networks is still missing. In this work, we first explain why rationals offer an optimal choice for activation functions. We then show that they are closed under residual connections, and inspired by recurrence for residual networks we derive a self-regularized version of Rationals: Recurrent Rationals. We demonstrate that (Recurrent) Rational Networks lead to high performance improvements on Image Classification and Deep Reinforcement Learning.

연구 동기 및 목표

• 신경망에서 고정된 활성화 함수의 한계로 인해 학습 능력이 제한되는 문제를 해결하기 위해.
• 깊은 네트워크에서 활성화 함수로 유리 함수가 이론적으로 최적인 이유를 탐구하기 위해.
• 반복을 통해 자기 정규화(self-regularization)를 실현하는 안정적이고 고성능의 아키텍처를 개발하기 위해.
• 실세계 딥러닝 벤치마크에서 유리 활성화 함수의 효과성을 입증하기 위해.
• 고정된 활성화 함수를 초월한 고용량 신경망 설계를 위한 일반화 가능한 프레임워크를 제공하기 위해.

제안 방법

• 유리 함수는 다항식의 비율로 정의되며, 보편적 근사와 계산적 표현력이 뛰어나므로 학습 가능한 활성화 함수로 제안한다.
• 유리 활성화 함수가 잔차 연결과 함께 닫혀 있음을 입증하여, 기울기 감소 없이 안정적인 깊은 스택 구축이 가능함을 보여준다.
• 유리 유닛에 반복을 적용해 순환 유리망(Recurrent Rationals)을 도입함으로써 내부 피드백을 통한 자기 정규화를 실현한다.
• 잔차 네트워크 프레임워크 내에서 유리 함수의 파라미터를 종단 간(end-to-end) 최적화하는 학습 절차를 설계한다.
• 각 레이어별로 적응 가능한 유리 함수를 설계하기 위해 미분 가능한 아키텍처 탐색 기법을 활용하여 표현 능력을 향상시킨다.
• 최소한의 아키텍처 수정으로 이미지 분류 및 딥 강화학습 작업에 이 아키텍처를 적용한다.

실험 결과

연구 질문

• RQ1 왜 표준 고정 활성화 함수보다 유리 함수가 신경망 유닛에 더 나은 선택인가?
• RQ2 유리 활성화 함수가 잔차 연결과 효과적으로 조합될 수 있는가, 학습 과정에서 안정성이 유지되는가?
• RQ3 유리망에 반복을 도입하면 일반화 능력과 성능이 어떻게 향상되는가?
• RQ4 이미지 분류 및 강화학습 과제에서 순환 유리망이 표준 네트워크를 얼마나 뛰어나게 성능을 냈는가?
• RQ5 반복의 자기 정규화 특성은 학습 가능한 활성화 함수를 갖는 깊은 네트워크에서 학습 안정성을 향상시키는가?

주요 결과

• 유리 활성화 함수는 복잡한 비선형성을 모델링할 수 있는 능력 덕분에 표준 고정 활성화 함수보다 뛰어난 표현 능력을 보인다.
• 유리 활성화 함수는 잔차 연결과 함께 닫혀 있어 기울기 감소 없이 안정적인 깊은 스택이 가능하다.
• 순환 유리망은 고정된 활성화 함수를 사용하는 표준 ResNet을 능가하는 최신 기준 성능을 달성한다.
• 반복의 자기 정규화 효과는 깊은 네트워크에서 학습 안정성과 일반화 능력을 향상시킨다.
• 딥 강화학습 환경에서 순환 유리망은 뚜렷한 성능 향상을 보이며, 강력한 정책 학습 능력을 나타낸다.
• 다양한 과제에서 일관된 성능 향상이 관찰되어, 유리 함수가 딥러닝에서 이론적 우수성을 실현함을 검증한다.