[論文レビュー] Efficient ConvNets for Analog Arrays

Malte J. Rasch, Tayfun Gokmen+2 more|arXiv (Cornell University)|Jul 3, 2018

Advanced Memory and Neural Computing参考文献 17被引用数 3

ひとこと要約

この論文では、複数のアナログアレイに畳み込みカーネル行列を複製し、計算をランダムに分散させることで、ミックスドアナログデジタルハードウェア上の学習を高速化するRAPA ConvNetsを提案する。パラメータ数が増加しても、同等またはより高い精度と耐性を達成し、CIFAR-10における敵対的耐性のギャップが64%削減され、学習速度が最大128倍向上する。

ABSTRACT

Analog arrays are a promising upcoming hardware technology with the potential to drastically speed up deep learning. Their main advantage is that they compute matrix-vector products in constant time, irrespective of the size of the matrix. However, early convolution layers in ConvNets map very unfavorably onto analog arrays, because kernel matrices are typically small and the constant time operation needs to be sequentially iterated a large number of times, reducing the speed up advantage for ConvNets. Here, we propose to replicate the kernel matrix of a convolution layer on distinct analog arrays, and randomly divide parts of the compute among them, so that multiple kernel matrices are trained in parallel. With this modification, analog arrays execute ConvNets with an acceleration factor that is proportional to the number of kernel matrices used per layer (here tested 16-128). Despite having more free parameters, we show analytically and in numerical experiments that this convolution architecture is self-regularizing and implicitly learns similar filters across arrays. We also report superior performance on a number of datasets and increased robustness to adversarial attacks. Our investigation suggests to revise the notion that mixed analog-digital hardware is not suitable for ConvNets.

研究の動機と目的

• 初期のConvNet層がアナログアレイにうまくマッピングされない問題に対処する。これは、定数時間の行列演算であるにもかかわらず、高い順次計算を伴うためである。
• ミックスドアナログデジタルハードウェア上でConvNetsの効率的な学習を可能にするために、各層あたりの有効計算時間を短縮すること。
• カーネルの複製によるモデル並列化が、ハードウェア加速を可能にしつつ、性能を維持または向上させられるかどうかを調査すること。
• 複製されたカーネルアーキテクチャにおけるランダムタイリングの、暗黙の正則化および敵対的耐性への利点を調査すること。

提案手法

• 各畳み込みカーネル行列を$n_t$個の別々のアナログアレイ（タイル）に複製し、入力パッチをランダムにそれらに分散配分する。
• 各タイルを個別に学習させ、独自のパラメータセットを用い、アナログアレイ上で並列実行を可能にする。
• 推論時にはタイル間の多数決を用いて予測を集約し、耐性を向上させる。
• タイリング戦略を、明示的な重み共有を避けるために、画像パッチをタイルにランダムに割り当てるものとして定式化する。
• 簡略化された解析的モデルを通じて、タイル間で類似したフィルタに収束するという暗黙の正則化効果を分析する。
• パラメータの変更に強く、安定した学習と性能を示す。

実験結果

リサーチクエスチョン

• RQ1 小さなカーネルサイズを持つにもかかわらず、カーネルの複製によるモデル並列化が、アナログアレイ上でのConvNetsの効率を向上させられるか？
• RQ2 複製されたカーネル行列にわたる計算のランダム割り当てが、暗黙の正則化および安定した収束をもたらすか？
• RQ3 標準的なConvNetsと比較して、RAPA ConvNetは白箱攻撃に対してどの程度耐性が向上するか？
• RQ4 RAPAアーキテクチャは、アナログハードウェア上で顕著な高速化を実現しつつ、従来のConvNetsと同等またはそれ以上の精度を維持または上回れるか？
• RQ5 タイル数を増加させることで、学習の安定性、一般化性能、敵対的耐性にどのような影響が生じるか？

主な発見

• 混合プーリングを用いた場合、85エポックでCIFAR-10で19%のテスト誤差を達成し、元のネットワークの82エポックと同等の性能を示した。
• n_t = (128,32,8)の場合、ε ≈ 33の条件下でCIFAR-10で83.97%の耐性精度を達成し、完全な耐性へのギャップを64%削減した。
• 元のネットワークより最大20倍の畳み込みパラメータ数を有しても、過学習を示さず、学習誤差15%を維持した。
• 完全な並列処理を仮定した場合、アナログアレイ上での1エポックあたりの理論的高速化は128倍に達する。
• ランダムタイリングは、過信した予測を抑制する自信安定化機構として機能し、敵対的耐性を向上させる。
• ハイパーパrameterの変更に対しても頑健であり、高密度のタイル数でも安定した学習と性能を示し、より大きなネットワークへのスケーラビリティを示唆している。