[論文レビュー] Loss-aware Binarization of Deep Networks

Lu Hou, Quanming Yao+1 more|arXiv (Cornell University)|Nov 5, 2016

Face and Expression Recognition被引用数 112

ひとこと要約

この論文は Loss-Aware Binarization (LAB) を提案する。対角ヘッセ行列近似を伴う近接 Newton 法に基づく重みを二値化しつつ損失を直接最小化する手法で、特に深層・再帰ニューラルネットに対して既存の二値化法より改善を達成する。

ABSTRACT

Deep neural network models, though very powerful and highly successful, are computationally expensive in terms of space and time. Recently, there have been a number of attempts on binarizing the network weights and activations. This greatly reduces the network size, and replaces the underlying multiplications to additions or even XNOR bit operations. However, existing binarization schemes are based on simple matrix approximation and ignore the effect of binarization on the loss. In this paper, we propose a proximal Newton algorithm with diagonal Hessian approximation that directly minimizes the loss w.r.t. the binarized weights. The underlying proximal step has an efficient closed-form solution, and the second-order information can be efficiently obtained from the second moments already computed by the Adam optimizer. Experiments on both feedforward and recurrent networks show that the proposed loss-aware binarization algorithm outperforms existing binarization schemes, and is also more robust for wide and deep networks.

研究の動機と目的

• ニューロン網のサイズと計算量を重みの二値化（必要に応じて活性化も）で削減する動機付け。
• 二値化後の重みについて、全てのようすを近似せずに損失を直接最小化する。
• 対角ヘッセ行列を用いた2次情報を近接 Newton フレームワーク内で活用する。
• LAB の堅牢性を feedforward および recurrent ネットワーク上で複数のデータセットに渡って示す。

提案手法

• 二値化を min_ŵ ℓ(ŵ) subject to ŵ_l = α_l b_l with α_l > 0 and b_l ∈ {±1}^{n_l} として定式化。
• 損失の2次展開と近接ステップを用いた対角ヘッセ行列 D による近接 Newton 更新を適用。
• Proposition 3.1 に基づく近接ステップの閉形式解を導出： α_l^t = ||D_l^{t-1} ⊙ w_l^t||_1 / ||D_l^{t-1}||_1 および b_l^t = sign(w_l^t)。
• Adam ベースの推定を用いて対角ヘッセ近似 D を形成し、更新を前処理するために2次モーメントを活用。
• 更新にはフル精度の重みを保持しつつ、フォワード／バックワード伝搬時に二値化を行い、効率的な学習を実現。
• LAB を Recurrent nets に拡張する際、入力-to-hidden および hidden-to-hidden 重みを二値化し、勾配発散を曲率感知スケーリングで対処。

実験結果

リサーチクエスチョン

• RQ1 損失を直接最小化するように二値化を実施するには、全ての精度を近似せずに可能か。
• RQ2 対角ヘッセ行列ベースの近接 Newton 法は、深層・再帰アーキテクチャで特に既存スキーム（BinaryConnect、Binary-Weight-Network）より効果的な二値化を提供できるか。
• RQ3 二次情報を取り入れることで、フィードフォワード及び再帰ネットワークでの重みの二値化時の安定性と性能は改善されるか。
• RQ4 LAB の MNIST、CIFAR-10、SVHN での標準ベンチマークおよび LSTM を用いた言語モデルに対する影響はどうなるか。

主な発見

• LAB は feedforward ネットワークにおいて MNIST、CIFAR-10、SVHN で従来の二値化法を上回る。
• LAB はテスト誤差を MNIST で 1.180%、CIFAR-10 で 10.500%、SVHN で 2.354% と達成し、BinaryConnect や BWN を上回り、場合によっては全精度に近づくまたは超える。
• LAB2（重みと活性化の二値化） はいくつかの設定で BNN および XNOR-Net 系より優れている。
• LAB は幅広・深いネットワークに対して頑健性を示し、BinaryConnect が苦手とする再帰ネットで勾配発散の問題を緩和する。