[論文レビュー] Learning compositional functions via multiplicative weight updates

Jeremy Bernstein, Jiawei Zhao+4 more|arXiv (Cornell University)|Jun 25, 2020

Neural Networks and Applications参考文献 46被引用数 5

ひとこと要約

この論文では、ニューラルネットワーク内の構成的関数構造に着想を得た乗法的重み更新最適化手法Madamを提案する。構成的関数に特化した勾配降下のための補題を活用することで、学習率のチューニングなしに安定した深層ネットワークの学習が可能となり、また、低ビット・対数数値表現による重みの圧縮を自然にサポートする。これは生物学的シナプスの特性とも整合する。

ABSTRACT

Compositionality is a basic structural feature of both biological and artificial neural networks. Learning compositional functions via gradient descent incurs well known problems like vanishing and exploding gradients, making careful learning rate tuning essential for real-world applications. This paper proves that multiplicative weight updates satisfy a descent lemma tailored to compositional functions. Based on this lemma, we derive Madam -- a multiplicative version of the Adam optimiser -- and show that it can train state of the art neural network architectures without learning rate tuning. We further show that Madam is easily adapted to train natively compressed neural networks by representing their weights in a logarithmic number system. We conclude by drawing connections between multiplicative weight updates and recent findings about synapses in biology.

研究の動機と目的

• 勾配降下法が構成的関数の学習において勾配消失／爆発の問題を引き起こす不安定性を解消すること。
• 深層ニューラルネットワークの構成的構造を尊重する最適化フレームワークの開発。
• 手動の学習率チューニングなしにエンドツーエンドのニューラルネットワーク学習を可能にすること。
• 重みにための対数数値系を用いたネイティブな圧縮ニューラルネットワークのサポート。
• 乗法的重み更新と生物学的シナプス可塑性との関連を明らかにすること。

提案手法

• 深層ネットワーク関数クラスの摂動解析を用いて、構成的関数に特化した勾配降下補題を導出する。
• 重み更新を加法的ではなく乗法的とするAdam最適化手法の変種、Madamを提案する。
• 重みの更新を対数空間における相対的変化として実装し、対数数値系表現を可能にする。
• 訓練の安定化と指数的重み増大の防止のため、重みクリッピング機構を導入する。
• 神経科学におけるDaleの原則に従い、訓練中を通じて重みの符号を維持する。
• 乗法的更新の正当化のため、相対的距離尺度「深層相対信頼度（deep relative trust）」を導入する。

実験結果

リサーチクエスチョン

• RQ1 乗法的重み更新は、深層ニューラルネットワークにおける構成的関数の安定した最適化パスを提供できるか？
• RQ2 Madamのような乗法的最適化手法は、標準的な訓練設定において学習率チューニングの必要性を排除できるか？
• RQ3 乗法的更新は対数数値系において自然に実装可能であり、効率的な低精度推論を可能にするか？
• RQ4 乗法的更新は生物学的シナプス可塑性および固定符号・限られた動的範囲といった解剖的制約とどのように関連するか？
• RQ5 重みクリッピングは、乗法的最適化における収束性と一般化性能にどのような影響を与えるか？

主な発見

• Madamは、学習率のチューニングなしにCIFAR-10におけるResNet-18の安定した学習を達成し、AdamやSGDと同等またはそれ以上の性能を発揮した。
• 乗法的更新の使用により、重みを対数数値系に直接表現可能となり、最小限の精度損失でネイティブに圧縮されたニューラルネットワークの実装が可能になった。
• Madamにおける重みクリッピングは訓練の安定化とテスト性能の正則化をもたらし、より低い閾値では一般化性能が向上した。
• Madamは訓練中に重みの符号を維持しており、Daleの原則と整合し、符号ビットの保存を不要にした。
• η₀ = 0.001のBビットMadamの動的範囲は、生物学的スパインヘッド体積の観察された60倍の範囲と一致し、生物学的妥当性を示唆した。
• 実験的結果から、Madamは学習率チューニングなしに最先端のアーキテクチャを学習可能であり、ハイパーパramータ感受性に対して高いロバストネスを示した。