[論文レビュー] Deep Networks with Internal Selective Attention through Feedback Connections

Marijn Stollenga, Jonathan Masci+2 more|arXiv (Cornell University)|Jul 11, 2014

Advanced Memory and Neural Computing参考文献 45被引用数 129

ひとこと要約

本論文では、フィードバック接続を導入することで畳み込みニューラルネットワーク（CNN）内の内部的選択的注意を可能にする、深層学習アーキテクチャであるDeep Attention Selective Networks（dasNet）を提案する。強化学習による分離型自然進化戦略（SNES）を用いて、複数回の推論プロセスにわたりフィルタ感度を動的に調整することで、CIFAR-10およびCIFAR-100における分類精度を向上させ、初期の誤分類を繰り返し注意を用いて是正し、従来のCNNより6%相対的に向上する、新たなSOTA結果を達成した。

ABSTRACT

Traditional convolutional neural networks (CNN) are stationary and feedforward. They neither change their parameters during evaluation nor use feedback from higher to lower layers. Real brains, however, do. So does our Deep Attention Selective Network (dasNet) architecture. DasNets feedback structure can dynamically alter its convolutional filter sensitivities during classification. It harnesses the power of sequential processing to improve classification performance, by allowing the network to iteratively focus its internal attention on some of its convolutional filters. Feedback is trained through direct policy search in a huge million-dimensional parameter space, through scalable natural evolution strategies (SNES). On the CIFAR-10 and CIFAR-100 datasets, dasNet outperforms the previous state-of-the-art model.

研究の動機と目的

• 訓練後にも困難なサンプルの分類性能を向上させられる非定常的深層ニューラルネットワークの開発。
• 高層層から低層層へのフィードバック接続を導入することで、深層CNNにおける内部的選択的注意の実現。
• 高次元パrameter空間におけるスケーラブルな強化学習を用いて、フィルタモジュレーションの制御方策を学習。
• CIFAR-10やCIFAR-100のような挑戦的な画像分類ベンチマークで、標準的なフォワードパスCNNを上回ること。
• フィードバック駆動の注意が、事前に訓練されたCNNの誤分類を繰り返し精錬することで是正できることの実証。

提案手法

• ベースモデルとしてドロップアウトを組み込んだMaxoutネットワークを採用し、フィルタ出力のマックスプーリングにより頑健な特徴学習を実現。
• 高層層から低層層へのフィードバック接続を導入し、推論中に畳み込みフィルタ活動を上位から下位にモジュレート可能にする。
• 分離型自然進化戦略（SNES）を用いて、複数回の推論プロセスにわたりどのフィルタを強調または抑制するかを決定する制御方策を学習。
• 微分不能で高次元（100万以上パラメータ）の空間で動作するため、従来のバックプロパゲーションは不適切であり、直接的な方策探索のためSNESを採用。
• 同じ入力を複数回の推論プロセスで処理し、方策に従ってフィルタ重みを動的に調整することで、特徴表現の繰り返し精錬を可能にする。
• 各プロセス後に分類を実行し、最終予測はアクティベーションの系列に基づき、正しく分類を高める特徴を方策が優先する。

実験結果

リサーチクエスチョン

• RQ1 深層CNNにおけるフィードバック接続が、困難なサンプルの分類精度を向上させる内部的選択的注意を実現できるか？
• RQ2 勾配ベース手法ではなく進化戦略を用いることで、高次元のフィルタモジュレーション制御方策を効果的に学習できるか？
• RQ3 複数回の推論プロセスによる繰り返し精錬により、初期のフォワードパスで生じた誤分類をネットワーク自ら是正できるか？
• RQ4 学習された注意メカニズムが、層ごとに非一様かつタスク関連的にフィルタアクティベーションを変化させる程度はどの程度か？
• RQ5 方策からの最終ゲート値が分類に十分な情報を含んでおり、注意の有効な使用を示しているか？

主な発見

• dasNetは、CIFAR-10データセットにおいてベースラインのvanilla CNNより6%相対的に分類精度を向上させた。
• CIFAR-100では、以前のSOTAモデルを上回り、新たなSOTA結果を確立した。
• ネットワークは初期にネコをイヌと誤分類した例を、高層層の関連フィルタを強調し、他のフィルタを抑制することで正しく分類に是正した。
• 解析の結果、フィルタモジュレーションは単純なグローバルスケーリングではなく、特定の特徴パターンの強調と抑制を含む複雑で非一様なものであった。
• 方策からの最終ゲート値は顕著な予測情報を含んでおり、15近傍NNで40.70%、ロジスティック回帰で45.74%の精度を達成し、その機能的関連性を確認した。
• 訓練期間を超えて評価しても（最大10ステップまで）ネットワークのダイナミクスは安定しており、学習済み方策の頑健性を示した。