[論文レビュー] Predify: Augmenting deep neural networks with brain-inspired predictive coding dynamics

Bhavin Choksi, Milad Mozafari+4 more|arXiv (Cornell University)|Jun 4, 2021

Adversarial Robustness in Machine Learning参考文献 91被引用数 25

ひとこと要約

tldr: 事前学習済みの feedforward CNN バックボーンを脳に着想を得た予測符動学で強化し、ノイズや敵対的攻撃に対する頑健性を向上させる。フィードバック重みの無監督訓練とオープンソースの PyTorch パッケージ Predify を通じて。

ABSTRACT

Deep neural networks excel at image classification, but their performance is far less robust to input perturbations than human perception. In this work we explore whether this shortcoming may be partly addressed by incorporating brain-inspired recurrent dynamics in deep convolutional networks. We take inspiration from a popular framework in neuroscience: 'predictive coding'. At each layer of the hierarchical model, generative feedback 'predicts' (i.e., reconstructs) the pattern of activity in the previous layer. The reconstruction errors are used to iteratively update the network's representations across timesteps, and to optimize the network's feedback weights over the natural image dataset-a form of unsupervised training. We show that implementing this strategy into two popular networks, VGG16 and EfficientNetB0, improves their robustness against various corruptions and adversarial attacks. We hypothesize that other feedforward networks could similarly benefit from the proposed framework. To promote research in this direction, we provide an open-sourced PyTorch-based package called Predify, which can be used to implement and investigate the impacts of the predictive coding dynamics in any convolutional neural network.

研究の動機と目的

• 深層CNNの頑健性のギャップを動機付け、脳に着想を得たフィードバックを解決策として探る。
• 階層的ネットワークにおいて、別々の教師ありのフィードフォワード訓練と無監督のフィードバック訓練を組み合わせて、予測符動学的ダイナミクスを導入する。
• 自然雑音・乱れおよび敵対的攻撃に対する頑健性の向上を、VGG16とEfficientNetB0で示す。
• さらなる研究のために、CNNへ予測符動学を実装するアクセス可能なソフトウェアツール（Predify）を提供する。

提案手法

• エンコーダ e_n とデコーダ d_n を、フィードフォワード W^f とフィードバック W^b で接続した階層的CNNに予測符動学を実装する。
• d_n(t) および e_n(t+1) の方程式を用いて、フィードフォワード、フィードバック、メモリ、エラー訂正項を組み合わせた層の活性化を更新する。
• W^f を凍結した再構成損失を用いてフィードバック重み W^b を訓練する（1ステップ再構成目的）。
• 初期訓練後、重みを凍結し、すべてのレイヤーに対して β、λ、α の固定ハイパーパラメータを設定してダイナミクスを支配する。
• Predify を提供して、任意の PyTorch CNN を予測ネットワークに変換する設定ファイルを用意し、スケーラブルな予測コードを生成する。

実験結果

リサーチクエスチョン

• RQ1 予測符動学ダイナミクスを取り入れることで、CNN のノイズや敵対的摂動に対する頑健性が向上するか？
• RQ2 予測符動学の反復は、時間ステップを跨る表現と再構成にどのような影響を与えるか？
• RQ3 敵対的訓練なしで、フィードバック重みの無監督訓練は頑健性を付与できるか？
• RQ4 Predify ツールは、さまざまなアーキテクチャで脳に着想を得たダイナミクスを研究者が実験するのに実用的か？

主な発見

• 予測符動学の補助は、フィードフォワードのベースラインと比較して、ガウスノイズ下で各時間ステップで認識精度を改善する。
• 再構成と表現は、時間ステップが増えるにつれてクリーンな入力と多様体に徐々に近づく。
• 適切に調整したハイパーパラメータで、予測符動学はImageNet-Cの一部の摂動に対して腐敗誤差 CE および平均腐敗誤差 mCEを低減する。
• 敵対的攻撃全般において、予測符動学の反復は時系列ステップにわたる攻撃成功率を低下させ、頑健性を高める。
• このアプローチは、フィードバック経路の監督付き訓練なしで頑健性の向上を生み出し、Predify パッケージにより促進される。