[論文レビュー] Latent Weights Do Not Exist: Rethinking Binarized Neural Network Optimization

Koen Helwegen, James Widdicombe+4 more|arXiv (Cornell University)|Jun 5, 2019

Advanced Neural Network Applications参考文献 35被引用数 38

ひとこと要約

本論文は、Binarized Neural Networks (BNNs) における潜在的な実数重みを真の重みではなく慣性として再定義し、勾配整合性に基づく潜在自由な最適化手法（Bop）を導入し、CIFAR-10 および ImageNet で競争力のある結果を示します。

ABSTRACT

Optimization of Binarized Neural Networks (BNNs) currently relies on real-valued latent weights to accumulate small update steps. In this paper, we argue that these latent weights cannot be treated analogously to weights in real-valued networks. Instead their main role is to provide inertia during training. We interpret current methods in terms of inertia and provide novel insights into the optimization of BNNs. We subsequently introduce the first optimizer specifically designed for BNNs, Binary Optimizer (Bop), and demonstrate its performance on CIFAR-10 and ImageNet. Together, the redefinition of latent weights as inertia and the introduction of Bop enable a better understanding of BNN optimization and open up the way for further improvements in training methodologies for BNNs. Code is available at: https://github.com/plumerai/rethinking-bnn-optimization

研究の動機と目的

• 決定論的な BNN 訓練における潜在重みの役割を再評価する。
• 潜在重みを排除する、BNN に特化した新しい最適化手法を提案する。
• CIFAR-10 および ImageNet で提案手法を経験的に評価する。
• 実数値近似を超える将来の BNN 最適化を導く洞察を提供する。

提案手法

• 潜在重みを w̃ = sign(w̃) · |w̃| と表現して、二値化された重みと慣性を分離する。
• 慣性の大きさを、真の重みパラメータとしてではなく、二値重みが反転するタイミングの鍵として解釈する。
• 勾配の指数移動平均と閾値に基づいて重みを反転させ、最適化中に潜在重みを排除する Binary Optimizer (Bop) を提案する。
• m_t = (1−γ)m_{t−1} + γ g_t の指数移動平均を使用し、反転規Rule: |m_t^i| ≥ τ かつ sign(m_t^i) = sign(w^{i}_{t−1}) のとき反転。
• 潜在的大きさのクリップまたはスケーリングは、適応性を表す γ および閾値を表す τ に置き換えられ、信号の一貫性と強度を制御する。
• Bop の特性を実証し、CIFAR-10 および ImageNet にわたって潜在重みベースのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 潜在的な実数重みは、BNN において真の最適化変数というよりも慣性として主に機能するのか？
• RQ2 勾配整合性に基づいて設計された潜在自由な最適化手法（Bop）は、潜在重みベースの訓練と同等かそれを上回ることができるか？
• RQ3 CIFAR-10 や ImageNet などの標準ベンチマークに対する Bop の経験的利点は何か？
• RQ4 ハイパーパラメータ γ（適応性レート）および τ（閾値）が、BNN 最適化の学習ダイナミクスと一般化にどのように影響するか？

主な発見

Model	Top-1 (Bop)	Top-5 (Bop)	Top-1 (Latent)	Top-5 (Latent)
BinaryNet	41.1%	65.4%	40.1%	66.3%
XNOR-Net	45.9%	70.0%	44.2%	69.2%
BiReal-Net	56.6%	79.4%	56.4%	79.5%

• 潜在重みは慣性を符号変化が生じる場合を除き、正味の前向き挙動を変えない慣性の符号としてエンコードしていると理解するのが適切である。
• 定理1は、特定の条件下で学習率スケーリングの不変性を示し、個々の重みの学習率を初期化へ吸収できることを意味する。
• Bop は、勾配整合性と反転閾値に基づく潜在自由な最適化手法であり、CIFAR-10 で競争力の結果を達成（latent baselines around 40–41% Top-1 に対し、40–41% 程度）と安定性の向上を示す。
• ImageNet では、BinaryNet、XNOR-Net、BiReal-Net に対して latent-weight ベースラインと比較して競争力の Top-1 および Top-5 の精度を示す（例: BinaryNet: 41.1% vs 40.1%; XNOR-Net: 45.9% vs 44.2%; BiReal-Net: 56.6% vs 56.4%）。
• Bop はトレーニング中のメモリ要件を削減し（重みごとに1つの実数値変数）、直感的なハイパーパラメータは二つの γ と τ のみである。
• 慣性重視の見方は、BNN の正規化や知識蒸留のさらなる改善への道を提供する。