[論文レビュー] Distillation Guided Residual Learning for Binary Convolutional Neural Networks

Jianming Ye, Shiliang Zhang+1 more|arXiv (Cornell University)|Jul 10, 2020

Advanced Neural Network Applications参考文献 36被引用数 7

ひとこと要約

本稿では、二値畳み込みニューラルネットワーク（BCNNs）向けに、完全精度のCNNからのブロック単位の知識蒸留を用いて特徴マップの残差を最小化し、学習を改善するDistillation Guided Residual Learning（DGRL）を提案する。各ブロックに軽量なSqueeze-and-Interaction（SI）ショートカットブランチを導入し、パラメータオーバーヘッドをわずか10%に抑えながら、ImageNetで60.45%のトップ1精度を達成。最先端のBCNNを上回りながらも、高い効率性を維持している。

ABSTRACT

It is challenging to bridge the performance gap between Binary CNN (BCNN) and Floating point CNN (FCNN). We observe that, this performance gap leads to substantial residuals between intermediate feature maps of BCNN and FCNN. To minimize the performance gap, we enforce BCNN to produce similar intermediate feature maps with the ones of FCNN. This training strategy, i.e., optimizing each binary convolutional block with block-wise distillation loss derived from FCNN, leads to a more effective optimization to BCNN. It also motivates us to update the binary convolutional block architecture to facilitate the optimization of block-wise distillation loss. Specifically, a lightweight shortcut branch is inserted into each binary convolutional block to complement residuals at each block. Benefited from its Squeeze-and-Interaction (SI) structure, this shortcut branch introduces a fraction of parameters, e.g., 10\% overheads, but effectively complements the residuals. Extensive experiments on ImageNet demonstrate the superior performance of our method in both classification efficiency and accuracy, e.g., BCNN trained with our methods achieves the accuracy of 60.45\% on ImageNet.

研究の動機と目的

• 中間特徴マップにおける顕著な残差が原因で生じる、二値CNN（BCNNs）と完全精度CNN（FCNNs）の性能差を是正すること。
• 二値重みと活性化による勾配消失と量子化誤差が原因で、BCNNの学習効率と最適化安定性が損なわれるのを改善すること。
• 軽量なショートカットブランチを導入することで、計算コストを著しく増加させずにBCNNのモデル容量を向上させること。
• 初期化のためのFCNNの監督ではなく、ブロックレベルでのFCNNの監督を活用する学習戦略を開発し、BCNNの最適化をより効果的にガイドすること。
• 高い推論効率と低メモリ使用量を維持しながら、BCNNで最先端の精度を達成すること。

提案手法

• 各二値畳み込みブロックを、事前に訓練済みのFCNNの対応する完全精度ブロックの中間特徴マップに一致させるように、ブロック単位の知識蒸留を適用する。
• 各二値ブロックにSqueeze-and-Interaction（SI）ショートカットブランチを挿入し、スイーブモジュールがチャネル次元を低減し、インタラクションモジュールが学習された重みを用いて元の特徴マップを回復する。
• SIブランチは、各ブロックに依存する可学習なチャネル低減率を用い、最小限のパラメータオーバーヘッドで残差特徴を適応的にモデル化する。
• 学習プロセスでは、推論用のバイナリ重みの更新と、バックプロパゲーション用の完全精度パラメータの更新を交互に実行し、各ブロックに蒸留損失を適用する。
• 最終出力の交差エントロピー損失と、中間特徴のブロック単位の蒸留損失を組み合わせた総損失関数を用いて、エンドツーエンドでモデルを訓練する。
• トレーニング後、SIショートカットブランチ内の低重みチャネルをプルーニングすることでモデル圧縮を実施し、FLOPsとモデルサイズを著しく削減しつつ、精度の低下は無視できる程度に抑える。

実験結果

リサーチクエスチョン

• RQ1 完全精度のCNNからのブロック単位の知識蒸留により、中間特徴マップの残差を最小化することで、BCNNとFCNNの性能差を顕著に縮小できるか？
• RQ2 各ブロックに軽量なSqueeze-and-Interaction（SI）ショートカットブランチを導入することで、計算コストを著しく増加させずにBCNNの表現能力を向上させられるか？
• RQ3 FCNN初期化に依存する標準的なBCNN学習と比較して、提案された蒸留ガイドド学習戦略は、精度と収束性においてどのように優れているか？
• RQ4 SIショートカットブランチは、その小さなパラメータオーバーヘッドを考慮しても、推論速度とモデル効率にどのような影響を及えるか？
• RQ5 提案手法は、既存のBCNNと比較して、FLOPsとメモリ使用量を低く抑えつつ、ImageNetで最先端の精度を達成できるか？

主な発見

• DGRLはImageNetで60.45%のトップ1精度を達成し、以前の最先端のCI-BCNN（59.9%）を0.55%上回った。
• ブロック単位の蒸留損失のみでも、ベースラインのBinaryResNetE18を1.40%向上させ、最適化における有効性を示した。
• SIショートカットブランチを追加することで、ベースラインからさらに1.73%の精度向上が達成され、残差特徴のモデル化におけるその役割が裏付けられた。
• SIショートカットは、ベースラインと比較してFLOPsが12.9%増加、モデルサイズが5.7%増加するが、並列計算により推論速度はほとんど変化しない。
• CIFAR-10では、完全精度のResNet18と比較して40倍少ないFLOPs、29倍少ないメモリを使用しながら、精度低下はたった0.58%にとどまった。
• SIショートカットチャネルのトレーニング後プルーニングにより、オーバーヘッドをさらに削減でき、60.23%の精度を維持した。これにより、設計の効率性が確認された。