[論文レビュー] Biologically-plausible learning algorithms can scale to large datasets

Will Xiao, Honglin Chen+2 more|arXiv (Cornell University)|Nov 8, 2018

Cell Image Analysis Techniques参考文献 15被引用数 37

ひとこと要約

この論文は、ImageNet や MS COCO といった大規模データセットを用いて、標準的な畳み込みニューラルネットワーク（ResNet-18、AlexNet、RetinaNet）で生物学的に妥当な学習アルゴリズム—特に符号対称性（sign-symmetry）とフィードバックアライメント（feedback alignment）—の性能を評価している。その結果、符号対称性はバックプロパゲーションにほぼ匹敵する分類性能を達成しており、重み行列の対称性を必要とせずに、複雑なタスクへとスケーリング可能であることが示された。

ABSTRACT

The backpropagation (BP) algorithm is often thought to be biologically implausible in the brain. One of the main reasons is that BP requires symmetric weight matrices in the feedforward and feedback pathways. To address this "weight transport problem" (Grossberg, 1987), two more biologically plausible algorithms, proposed by Liao et al. (2016) and Lillicrap et al. (2016), relax BP's weight symmetry requirements and demonstrate comparable learning capabilities to that of BP on small datasets. However, a recent study by Bartunov et al. (2018) evaluate variants of target-propagation (TP) and feedback alignment (FA) on MINIST, CIFAR, and ImageNet datasets, and find that although many of the proposed algorithms perform well on MNIST and CIFAR, they perform significantly worse than BP on ImageNet. Here, we additionally evaluate the sign-symmetry algorithm (Liao et al., 2016), which differs from both BP and FA in that the feedback and feedforward weights share signs but not magnitudes. We examine the performance of sign-symmetry and feedback alignment on ImageNet and MS COCO datasets using different network architectures (ResNet-18 and AlexNet for ImageNet, RetinaNet for MS COCO). Surprisingly, networks trained with sign-symmetry can attain classification performance approaching that of BP-trained networks. These results complement the study by Bartunov et al. (2018), and establish a new benchmark for future biologically plausible learning algorithms on more difficult datasets and more complex architectures.

研究の動機と目的

• 符号対称性やフィードバックアライメントといった生物学的に妥当な学習アルゴリズムが、ImageNet や MS COCO のような大規模で現実世界のデータセットへとスケーリング可能かどうかを評価すること。
• 従来の研究がアーキテクチャを制限（例えば、重み共有を不可とする）し、大規模タスクで性能が低かったという限界を是正すること。
• フィードバックパスで前向き重みの符号（大きさではなく）のみを共有する符号対称性が、複雑なベンチマークにおいてフィードバックアライメントを上回る性能を示すかどうかを検証すること。
• 最終層でのみバックプロパゲーションを適用し、それ以外の層ではフィードバックアライメントを適用するなど、ハイブリッドトレーニング戦略を検討し、性能向上を図ること。
• 既知の神経回路構造や接続制約を踏まえた上で、符号対称性とフィードバックアライメントの生物学的実装可能性を評価すること。

提案手法

• フィードバック重みが対応する前向き重みの符号（大きさではない）を共有する符号対称性アルゴリズムを採用。これにより、完全な重み対称性がなくても誤差信号の伝搬が可能となる。
• 固定されたランダムなフィードバック重みを用いるフィードバックアライメントを適用し、符号対称性との性能比較をImageNetおよびMS COCOで実施。
• 重み共有を許容する標準的な畳み込みアーキテクチャ（ResNet-18、AlexNet、RetinaNet）を用いて、ImageNet でResNet-18とAlexNet、MS COCO でRetinaNetを学習。これにより、従来の局所的接続制限付きの設定とは異なり、実用的でスケーラブルな設定を実現。
• ハイブリッドトレーニング戦略を検証：最終分類層でのみバックプロパゲーションを適用し、それより前の層ではフィードバックアライメントを適用することで、学習の安定性と性能を向上。
• 標準的なディープラーニングのトレーニングプロトコル（例：SGD、学習率スケジューリング）を用い、ImageNet ではトップ-1およびトップ-5精度、MS COCO ではmAPを評価指標として使用。
• 符号対称性の生物学的実装メカニズムとして、軸索誘導における直交するリガンド-レセプター対を提案。これにより、符号対称性を維持する反平行な接続が実現可能となり、重み伝送を必要とせずに符号のみを保存可能となる。

実験結果

リサーチクエスチョン

• RQ1 生物学的に妥当な学習アルゴリズムとしての符号対称性が、ImageNet や MS COCO のような大規模データセットでバックプロパゲーションと同等の性能を達成できるか？
• RQ2 重み共有が有効な状況下で、複雑なアーキテクチャと現実世界のベンチマークにおいて、フィードバックアライメントと符号対称性の性能はどのように比較されるか？
• RQ3 最終層でのみバックプロパゲーションを適用し、それより前の層ではフィードバックアライメントを適用するハイブリッドトレーニング戦略が、大規模タスクの性能向上に寄与するか？
• RQ4 符号対称性は、合成シナプス重みの符号（大きさではなく）を保存する軸索誘導メカニズムによって生物学的に実装可能か？
• RQ5 重み共有や局所的接続といったアーキテクチャ的制約は、生物学的に妥当な学習アルゴリズムのスケーラビリティにどの程度影響を与えるか？

主な発見

• 符号対称性は、ResNet-18を用いてImageNetでトップ-1精度70.1%を達成し、バックプロパゲーションで学習したモデルの72.5%に非常に近い性能を示した。
• ハイブリッドトレーニング戦略（最終層でのみバックプロパゲーション）を用いたフィードバックアライメントは、従来の報告を上回り、ResNet-18を用いてImageNetでトップ-1精度68.7%を達成した。
• 符号対称性およびフィードバックアライメントの両方とも、ハイパーパramータの詳細なチューニングなしに、RetinaNetを用いてMS COCOで30%以上のmAPを達成し、妥当な性能を示した。
• 符号対称性の性能は、ResNet-18 や AlexNet といった異なるネットワークアーキテクチャにおいても安定しており、小規模ベンチマークにとどまらず、スケーラビリティが確認された。
• 本研究では、標準的な畳み込みアーキテクチャと重み共有を用いることで、生物学的に妥当なアルゴリズムが複雑で現実世界のデータセットへ一般化可能であることを示した。
• 生物学的に妥当なアルゴリズムは大規模タスクで失敗するという主張に反して、本研究では符号対称性が人工的および生物学的学習の文脈においてバックプロパゲーションの代替として実用的であることが示された。