[論文レビュー] Benchmarking the Accuracy and Robustness of Feedback Alignment Algorithms

Albert Jiménez Sanfiz, Mohamed Akrout|arXiv (Cornell University)|Aug 30, 2021

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本稿では、深層ニューラルネットワークにおける生物学的に妥当なフィードバックアライメント（FA）アルゴリズムのトレーニングおよびベンチマークを可能にするオープンソースフレームワーク、BioTorchを紹介する。MNIST、CIFAR-10、ImageNetの各データセット上で、uSF、brSF、frSFといったFAの変種を評価し、符号一致型手法（例：uSF）がImageNetで34.97%のtop-1エラーを達成し、バックプロパゲーションと同等の性能を示すとともに、ホワイトボックスおよびブラックボックス攻撃に対しても優れた耐性を示した。

ABSTRACT

Backpropagation is the default algorithm for training deep neural networks due to its simplicity, efficiency and high convergence rate. However, its requirements make it impossible to be implemented in a human brain. In recent years, more biologically plausible learning methods have been proposed. Some of these methods can match backpropagation accuracy, and simultaneously provide other extra benefits such as faster training on specialized hardware (e.g., ASICs) or higher robustness against adversarial attacks. While the interest in the field is growing, there is a necessity for open-source libraries and toolkits to foster research and benchmark algorithms. In this paper, we present BioTorch, a software framework to create, train, and benchmark biologically motivated neural networks. In addition, we investigate the performance of several feedback alignment methods proposed in the literature, thereby unveiling the importance of the forward and backward weight initialization and optimizer choice. Finally, we provide a novel robustness study of these methods against state-of-the-art white and black-box adversarial attacks.

研究の動機と目的

• 生物学的に妥当な学習アルゴリズム、特にフィードバックアライメント（FA）手法のベンチマーク化に向けたオープンソースツールの不足を解消すること。
• フォワードおよびバックワード重み初期化、最適化手法の選択、ネットワークの深さがFAアルゴリズムの性能に与える影響を調査すること。
• 最先端のホワイトボックスおよびブラックボックス敵対的攻撃に対するFAベースのモデルの耐性を評価すること。
• 再現可能でモジュール化され、拡張可能なフレームワークを提供し、生物学的インスピレーションを受けるニューラルネットワークのトレーニングと比較を可能にすること。
• 多様なデータセットおよびアーキテクチャをカバーする範囲で、フィードバックアライメント手法の精度と敵対的耐性のベースラインを確立すること。

提案手法

• FA、DFA、uSF、brSF、frSFの5つのフィードバックアライメント変種をサポートするオープンソースのPyTorchベースフレームワーク「BioTorch」を開発した。
• 再現可能なベンチマークを実現するため、自動モデル変換および設定可能なトレーニングパイプラインを実装した。
• 分散保存重み初期化（例：Kaiming、Xavier）と正規分布初期化を用い、収束性およびアライメントへの影響を調査した。
• MNISTおよびFashion-MNISTでは浅いネットワーク、CIFAR-10ではResNet-20、ImageNetでは完全なResNet-18を用いてスケーラビリティを評価した。
• Torchattacksライブラリを用いてホワイトボックス攻撃（FGSM、PGD、APGD、TPGD）およびブラックボックス攻撃（Few-Pixel、Square）を適用し、耐性を評価した。
• トップ1検証エラーと、さまざまな摂動の大きさ（ε）および攻撃クエリ予算の下での耐性を測定した。

実験結果

リサーチクエスチョン

• RQ1 Kaimingと正規分布の重み初期化戦略（例：Kaiming対正規分布）は、フィードバックアライメント手法の収束性および性能にどのように影響するか？
• RQ2 最適化手法の選択（SGD対Adam）は、フォワードおよびバックワード重みのアライメントと最終的なモデル精度にどのような影響を及えるか？
• RQ3 フィードバックアライメント手法は、バックプロパゲーションと比較してImageNetで競争力のある精度を達成できるか？
• RQ4 フィードバックアライメントベースのモデルは、最先端のホワイトボックスおよびブラックボックス敵対的攻撃に対してどのように性能を示すか？
• RQ5 符号一致型フィードバックアライメント変種（uSF、brSF、frSF）は、標準のFAやDFAと比較して、より高い耐性を示すか？

主な発見

• uSF手法は、ResNet-18を用いてImageNetでトップ1検証エラー34.97%を達成し、標準FA（85.25%）およびDFA（82.45%）を顕著に上回った。
• Adam最適化手法は、フォワードとバックワード重み初期化に不一致がある場合でも、SGDよりも速い重みアライメントとより高い精度を達成した。
• FAおよびDFAで訓練されたモデルは、PGDおよびAPGD攻撃（ε ≤ 0.1）においても最小限の精度低下を示し、ホワイトボックス敵対的攻撃に対して強い耐性を示した。
• uSF、brSF、frSF変種は、全重みまたは符号のみの輸送手法よりもホワイトボックス攻撃に対して高い耐性を示した。これは、ノイジィな勾配によるものと推定される。
• Few-Pixelブラックボックス攻撃はモデル性能を著しく低下させたが、FAおよび符号一致型手法（uSF、brSF）はBPで訓練されたモデルよりもより耐性があった。
• Squareブラックボックス攻撃はすべての手法の性能を低下させたが、これはフィードバックアライメント手法にこのクエリ集約型攻撃に対する顕著な耐性優位性がないことを示した。