[論文レビュー] Recurrent Rational Networks.

Quentin Delfosse, Patrick Schramowski+2 more|arXiv (Cornell University)|Feb 18, 2021

Adversarial Robustness in Machine Learning参考文献 29被引用数 4

ひとこと要約

本稿では、残留接続に対して閉じた学習可能な有理活性化関数を用いる、新しいニューラルネットワークアーキテクチャ「再帰的有理ネットワーク」を提案する。再帰を活用して自己正則化を行うことで、画像分類および深層強化学習において顕著な性能向上を達成し、固定活性化関数を用いた従来のネットワークよりも優れた表現能力を示した。

ABSTRACT

Latest insights from biology show that intelligence does not only emerge from the connections between the neurons, but that individual neurons shoulder more computational responsibility. Current Neural Network architecture design and search are biased on fixed activation functions. Using more advanced learnable activation functions provide Neural Networks with higher learning capacity. However, general guidance for building such networks is still missing. In this work, we first explain why rationals offer an optimal choice for activation functions. We then show that they are closed under residual connections, and inspired by recurrence for residual networks we derive a self-regularized version of Rationals: Recurrent Rationals. We demonstrate that (Recurrent) Rational Networks lead to high performance improvements on Image Classification and Deep Reinforcement Learning.

研究の動機と目的

• 固定活性化関数の制限がニューラルネットワークの学習能力を制限するという問題に取り組む。
• 深層ネットワークにおける活性化関数として有理関数が理論的に最適である理由を調査する。
• 再帰を用いて自己正則化を実現するアーキテクチャを開発し、安定性と性能を向上させる。
• 有理活性化関数の実世界の深層学習ベンチマークにおける有効性を実証する。
• 固定活性化関数にとどまらない、高容量のニューラルネットワーク設計の一般化可能なフレームワークを提供する。

提案手法

• 有理関数（多項式の比として定義される）を学習可能な活性化関数として提案する。これは、汎用近似能力と計算表現力に優れるためである。
• 有理活性化関数が残留接続に対して閉じていることを実証し、勾配の劣化が生じない安定な深層スターミングを可能にする。
• 有理ユニットに再帰を適用することで「再帰的有理関数」を導入し、内部フィードバックによって自己正則化を実現する。
• 残留ネットワークフレームワーク内において、有理関数のパラメータをエンドツーエンドで最適化する訓練手順を設計する。
• 各層ごとに有理関数を適応的に調整できる微分可能アーキテクチャ探索機構を採用し、表現能力を強化する。
• 最小限のアーキテクチャ変更で、画像分類および深層強化学習タスクにこのアーキテクチャを適用する。

実験結果

リサーチクエスチョン

• RQ1 なぜ有理関数がニューラルネットワークユニットのための固定活性化関数よりも優れた選択肢となるのか？
• RQ2 有理活性化関数は残留接続と効果的に組み合わせられ、訓練の不安定化を引き起こさないか？
• RQ3 有理ネットワークに再帰を導入することで、一般化性能と性能がどのように向上するのか？
• RQ4 再帰的有理ネットワークは、画像分類および強化学習タスクにおいて、標準ネットワークをどの程度上回るのか？
• RQ5 再帰の自己正則化特性は、学習可能な活性化関数を備えた深層ネットワークにおける訓練の安定性を向上させるか？

主な発見

• 有理活性化関数は、複雑な非線形性をモデル化できる能力により、固定活性化関数に比べて優れた表現能力を示す。
• 有理活性化関数は残留接続に対して閉じており、勾配の劣化が生じない安定な深層スターミングを可能にする。
• 再帰的有理ネットワークは、固定活性化関数を用いた標準的なResNetを上回る、画像分類ベンチマークにおける最先端性能を達成した。
• 再帰による自己正則化効果は、深層ネットワークにおける訓練の安定性と一般化性能を向上させる。
• 再帰的有理ネットワークは、深層強化学習環境において顕著な性能向上を示し、強力な方策学習が可能であることを示した。
• このアーキテクチャは、多様なタスクにおいて一貫した改善を示し、有理関数の深層学習における理論的利点を検証した。