[論文レビュー] BitNet: Bit-Regularized Deep Neural Networks

Aswin Raghavan, Mohamed Amer+2 more|arXiv (Cornell University)|Aug 16, 2017

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 5

ひとこと要約

BitNetは、各層ごとに学習可能なビット幅を用いてネットワークパラメータを整数値に制約することで、動的正則化を行うエンドツーエンド最適化フレームワークを提案する。分類損失の微分可能リラクゼーションを定式化し、ビット複雑度を正則化項として組み込むことで、フルプレシジョンモデルと比較して収束が速く、テスト精度が優れている一方で、適応的量子化により顕著なメモリ圧縮を実現する。

ABSTRACT

We present a novel optimization strategy for training neural networks which we call "BitNet". The parameters of neural networks are usually unconstrained and have a dynamic range dispersed over all real values. Our key idea is to limit the expressive power of the network by dynamically controlling the range and set of values that the parameters can take. We formulate this idea using a novel end-to-end approach that circumvents the discrete parameter space by optimizing a relaxed continuous and differentiable upper bound of the typical classification loss function. The approach can be interpreted as a regularization inspired by the Minimum Description Length (MDL) principle. For each layer of the network, our approach optimizes real-valued translation and scaling factors and arbitrary precision integer-valued parameters (weights). We empirically compare BitNet to an equivalent unregularized model on the MNIST and CIFAR-10 datasets. We show that BitNet converges faster to a superior quality solution. Additionally, the resulting model has significant savings in memory due to the use of integer-valued parameters.

研究の動機と目的

• 固定精度量子化の非効率性を解消するため、動的で層特異的なビット幅最適化を可能にする。
• 離散的パラメータ空間の微分可能で連続的なリラクゼーションを構築し、整数値重みを用いたエンドツーエンド学習を可能にする。
• ビットベースの複雑度測度を直接正則化することで、学習効率とモデルのコンactさを向上させる。
• ビット正則化が標準的なフルプレシジョン学習よりも収束が速く、一般化性能が優れていることを示す。
• 動的ビット割り当てにより、モデルの精度とメモリ容量のバランスを取る柔軟でハードウェアに配慮したトレーニング戦略を提供する。

提案手法

• 離散的整数パラメータ空間を連続的・微分可能関数にリラクゼーションすることで、分類損失の微分可能な上界を定式化する。
• 各層ごとに学習可能な実数値スケーリングおよびトランスレーション要因を導入し、連続的重みを離散的整数値にマッピングする。
• 最小記述長（MDL）原理に基づく正則化項を採用し、パラメータを符号化するために必要なビット数をペナルティとして課す。
• 結合損失関数を用いて、確率的勾配降下法によりネットワーク重みと各層のビット幅を同時に最適化する。
• 動的に調整された範囲内に浮動小数点重みを範囲保存型線形変換で整数値にマッピングする。
• 2つの正則化係数λ₁およびλ₂を用いて、モデル精度とビット複雑度の間でハイパーパramータ制御のトレードオフを実現する。

実験結果

リサーチクエスチョン

• RQ1 固定精度学習と比較して、動的で層特異的なビット幅最適化は、学習収束速度と最終的なモデル精度を向上させるか？
• RQ2 MDL原理に基づくビット正則化は、深層ニューラルネットワークの一般化性能と圧縮効率にどのように影響するか？
• RQ3 パフォーマンス劣化が顕著でない範囲で、各層のビット数をどの程度まで削減できるか。また、これは異なるアーキテクチャやデータセットでどのように変化するか？
• RQ4 ビット正則化とADAMやAdaGradのような適応的学習率スケジュールとの間に相関関係があるか？
• RQ5 ビット幅と重みのエンドツーエンド最適化は、トレーニング後量子化やヒューリスティッククラスタリング手法と比較して、より優れた圧縮-精度トレードオフを達成できるか？

主な発見

• MNISTおよびCIFAR-10の両データセットにおいて、同等のフルプレシジョンモデルと比較して、BitNetは収束が速く、テスト誤差が低かった。1時間の学習で20時間のベースラインを上回った。
• MNISTでは最適なハイパーパramータ（λ₁=10⁻³、λ₂=10⁻⁶）を用いたBitNetが11.0%のテスト誤差を達成し、32ビットを使用したLeNet32（19.95%誤差）を上回った。
• 2ビット/層に制限した状態（λ₁=0、λ₂=1）でも、BitNetはMNISTで13.09%のテスト誤差を達成し、16倍の圧縮を実現した。
• ネットワークの深さにかかわらず、追加の畳み込み層や全結合層を含む深層ネットワークでも性能向上を維持した。
• 圧縮比はハイパーパramータ設定に大きく依存したが、テスト誤差は比較的安定していたため、精度-圧縮トレードオフに高い柔軟性があることが示された。
• 最良の設定はグリッドサーチにより特定され、MNISTでは11.0%のテスト誤差、CIFAR-10では15.5%のテスト誤差を達成し、顕著なビット削減を実現した。