[論文レビュー] Structured Convolution Matrices for Energy-efficient Deep learning

Rathinakumar Appuswamy, Tapan K. Nayak+7 more|arXiv (Cornell University)|Jun 8, 2016

Neural Networks and Applications参考文献 52被引用数 10

ひとこと要約

本論文では、特にIBMのTrueNorthアーキテクチャを対象として、エネルギー効率の高いニューロモルフィックハードウェアにおけるディープラーニングを可能にする、ブロックトーペリッツ形式に基づく構造的畳み込み行列を提案する。離散畳み込みとTrueNorthの重み表現の間の数学的関係を活用することで、勾配の安定性と収束性を向上させる新しいノイズベースの学習手法を用いてバイナリ活性化ネットワークを訓練した。その結果、CIFAR-10で87.5%の精度を達成し、従来の要件を50%以上も削減した13,216個のTrueNorthコアで実現した。

ABSTRACT

We derive a relationship between network representation in energy-efficient neuromorphic architectures and block Toplitz convolutional matrices. Inspired by this connection, we develop deep convolutional networks using a family of structured convolutional matrices and achieve state-of-the-art trade-off between energy efficiency and classification accuracy for well-known image recognition tasks. We also put forward a novel method to train binary convolutional networks by utilising an existing connection between noisy-rectified linear units and binary activations.

研究の動機と目的

• IBMのTrueNorthのようなエネルギー効率の高いニューロモルフィックハードウェアにネイティブにマッピング可能な、構造的畳み込み行列の族を開発すること。
• 安定した勾配と高速な収束を実現するバイナリ活性化畳み込みネットワークの訓練を可能にすること。
• 最先端の画像認識精度を達成するために必要なニューロモルフィックコアの数を削減すること。
• 低消費電力プラットフォームへのデプロイメントに適した、ハードウェアに配慮した訓練フレームワークを確立すること。

提案手法

• TrueNorthのシナプスクロスバーアーキテクチャで用いられる重み表現方式とブロックトーペリッツ行列との間の数学的同等性を導出する。
• ノイズを含む整流線形ユニット（ノイズ付きReLUs）を用いる新しい訓練手法を導入し、バイナリニューロンの活性化を近似することで、正確な勾配バックプロパゲーションを可能にする。
• 畳み込みカーネルを小さな基本値のセットからシフト演算子を用いて生成する、パラメータ化された構造的行列の族を採用する。
• カーネル構造の制約を課した確率的勾配降下法を適用し、訓練中にハードウェア効率を維持する。
• 学習済みカーネルをTrueNorthの4エントリのルックアップテーブルにマッピングするために、強度関数と入力タイプインデキシングを用いる。
• カーネル構造が4つの異なる値と2つの可換なシフト演算子から一意に再構成可能であることを示した。

実験結果

リサーチクエスチョン

• RQ1 TrueNorthのようなニューロモルフィックハードウェアの重み表現に適合する構造的畳み込み行列を導出可能か？
• RQ2 しきい値で微分不能となるため、勾配が非微分可能な場合にバイナリ活性化ネットワークを効果的に訓練する方法は何か？
• RQ3 構造的カーネルを用いた場合、画像認識タスクで高い精度を達成するために必要な最小のニューロモルフィックコア数は何か？
• RQ4 ノイズ付きReLUsとバイナリニューロンの同等性を活用することで、訓練の安定性と収束性を向上させられるか？

主な発見

• 提案された構造的畳み込み行列は、CIFAR-10でトップ1精度87.5%を達成したが、使用したTrueNorthコアは13,216個にとどまり、従来の最先端技術（31,872コア）と比較して58%の削減を実現した。
• ノイズ付きReLUsと決定的しきい値ニューロンの同等性を活用することで、バイナリ活性化ネットワークのエンドツーエンド訓練が安定した勾配を実現した。
• カーネル構造は4つの基本値と2つの可換なシフト演算子によって完全に決定され、コンパクトでハードウェアに適した表現が可能となった。
• 導出された行列族はブロックトーペリッツ行列と同型であるため、離散畳み込み演算と完全に互換性がある。
• ノイズ付きReLUsを用いた訓練手順により、正確な勾配推定が得られ、収束が加速し、モデル性能が向上した。
• アルゴリズム設計をハードウェア制約と共同最適化することで、優れたエネルギー効率が達成可能であることが示された。