[論文レビュー] Building Efficient Deep Neural Networks with Unitary Group Convolutions

Ritchie Zhao, Yuwei Hu+3 more|arXiv (Cornell University)|Nov 19, 2018

Advanced Neural Network Applications参考文献 28被引用数 5

ひとこと要約

本稿では、特徴空間における密なユニタリ変換とグループ畳み込みを組み合わせることで、クロスチャネル表現学習を向上させる、新しいCNNの基本構造であるユニタリーグループ畳み込み（UGConvs）を提案する。本研究では、シャッフルネットとブロック巡回行列ネットワークを統一的な枠組みで統合し、パrameter数とFLOP数が同一の条件下でシャッフルネットを上回る精度を達成するHadaNetを提案する。また、DFTベースの手法と比較して計算複雑度が低く抑えられる。

ABSTRACT

We propose unitary group convolutions (UGConvs), a building block for CNNs which compose a group convolution with unitary transforms in feature space to learn a richer set of representations than group convolution alone. UGConvs generalize two disparate ideas in CNN architecture, channel shuffling (i.e. ShuffleNet) and block-circulant networks (i.e. CirCNN), and provide unifying insights that lead to a deeper understanding of each technique. We experimentally demonstrate that dense unitary transforms can outperform channel shuffling in DNN accuracy. On the other hand, different dense transforms exhibit comparable accuracy performance. Based on these observations we propose HadaNet, a UGConv network using Hadamard transforms. HadaNets achieve similar accuracy to circulant networks with lower computation complexity, and better accuracy than ShuffleNets with the same number of parameters and floating-point multiplies.

研究の動機と目的

• 効率的なCNN分野における二つの異なる研究分野——チャネルシャッフル（シャッフルネット）とブロック巡回行列重み（CirCNN）——を、共通の理論的枠組みで統一すること。
• 異なるユニタリ変換がグループ畳み込み層における表現学習に与える影響を調査すること。
• チャネルシャッフルを密なユニタリ変換に置き換えることで、より効率的かつ正確なネットワークアーキテクチャを設計すること。
• UGConvを基盤とするHadaNetを提案し、最小限の計算オーバーヘッドで最先端の精度を達成すること。
• 特にFPGAやASICにおけるハードウェア最適化された推論環境において、ユニタリ変換の実用性を評価すること。

提案手法

• 特徴空間に適用されるユニタリ変換とグループ畳み込みの合成として、ユニタリーグループ畳み込み（UGConvs）を提案する。
• シャッフルネット（チャネルシャッフルを含む）とCirCNN（ブロック巡回行列重みを含む）が、UGConvsの特定の例であることを実証する。
• ハダマード変換やDFT変換などの密なユニタリ変換を、グループ畳み込みにおけるチャネルシャッフルの置き換えや強化に用いる。
• HadaNetでは、2方向のブロックハダマード変換を用い、O(N log N)の計算複雑度で効率的かつ再帰的な計算を可能にする。
• 再帰的分解を用いた高速ハダマード変換の実装により、DFTベースの手法と比較して計算コストを低減する。
• ベースラインモデルの標準化されたトレーニングプロトコルとハイパーパrameterを用い、CIFAR-10およびImageNetでの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 特徴空間におけるユニタリ変換は、グループ畳み込みにおける単純なチャネルシャッフルを上回る表現学習を可能にするか？
• RQ2 ハダマール変換やDFTなどの異なる密なユニタリ変換は、置換に基づくシャッフルと比較して、精度と効率性においてどのように異なるか？
• RQ3 チャネルシャッフルを密なユニタリ変換に置き換えることで、同じパrameter数とFLOPs条件下でもより高い性能が得られるか？
• RQ4 ハダマード変換を用いることで、シャッフルネットやCirCNNといった既存の最先端モデルよりも効率的かつ正確なネットワークを構築できるか？
• RQ5 ユニタリ変換の統合に伴う追加の加算演算数の計算オーバーヘッドはどの程度で、ハードウェアアクセcelerationに実用的か？

主な発見

• 2方向のブロックハダマード変換を用いたHadaNetは、パrameter数とFLOP予算がシャッフルネット-x0.25-g8と同一の条件下で、ImageNetにおけるトップ1誤差を53.6%に抑える。これは同じ精度を達成するが、計算複雑度は低く抑えられる。
• グループサイズが8および16のResNet-18において、HadaNetはシャッフルネットを上回る精度を示し、高スパarsity領域において密な変換がシャッフルを上回ることを実証した。
• ハダマード変換の追加により、既存の乗加算演算と比較して浮動小数点加算が2〜5%増加するにとどまり、最小限のオーバーヘッドに抑えられる。
• 高速ハダマード変換は再帰的構造を持つため、FPGAやASIC実装に適しており、DFTベースの手法と比較してより効率的なハードウェアマッピングを可能にする。
• 実験的結果から、グループ数が多い場合、密なユニタリ変換は単純な置換（例：チャネルシャッフル）を著しく上回り、クロスチャネル間の情報伝達が向上していることが示された。
• UGConvフレームワークは、シャッフルネットとブロック巡回行列ネットワークを成功裏に統合し、両者が変換された特徴基底上で学習していること、これが表現能力の向上に寄与していることを明らかにした。