[論文レビュー] Learning Frequency Domain Approximation for Binary Neural Networks

Yixing Xu, Kai Han+4 more|arXiv (Cornell University)|Mar 1, 2021

Advanced Neural Network Applications参考文献 56被引用数 9

ひとこと要約

本論文では、周波数ドメインにおける正弦関数のフーリエ級数を用いて符号関数の勾配を近似することで、二値ニューラルネットワーク（BNN）を訓練する新規手法、周波数ドメイン近似（FDA-BNN）を提案する。低周波成分（信号エネルギーの大部分を占める）を保持し、高周波成分の近似誤差を補正するためのノイズ適応モジュールを導入することで、CIFAR-10およびImageNetにおいて最先端の精度を達成し、ResNet-18では既存手法よりも最大1.2%高いトップ1精度を達成した。

ABSTRACT

Binary neural networks (BNNs) represent original full-precision weights and activations into 1-bit with sign function. Since the gradient of the conventional sign function is almost zero everywhere which cannot be used for back-propagation, several attempts have been proposed to alleviate the optimization difficulty by using approximate gradient. However, those approximations corrupt the main direction of factual gradient. To this end, we propose to estimate the gradient of sign function in the Fourier frequency domain using the combination of sine functions for training BNNs, namely frequency domain approximation (FDA). The proposed approach does not affect the low-frequency information of the original sign function which occupies most of the overall energy, and high-frequency coefficients will be ignored to avoid the huge computational overhead. In addition, we embed a noise adaptation module into the training phase to compensate the approximation error. The experiments on several benchmark datasets and neural architectures illustrate that the binary network learned using our method achieves the state-of-the-art accuracy. Code will be available at extit{https://gitee.com/mindspore/models/tree/master/research/cv/FDA-BNN}.

研究の動機と目的

• 符号関数の非微分性が引き起こす二値ニューラルネットワーク（BNN）における最適化の難しさに対処すること。
• 既存手法が主勾配方向を歪めるのを改善し、符号関数の勾配近似を向上させること。
• 符号関数の主要なエネルギーを占める支配的低周波成分を維持することで、より正確なバックプロパゲーションを実現すること。
• 高周波成分の項を切り捨てることで計算コストを削減し、残存誤差をノイズ適応モジュールで補償すること。
• 周波数ドメインにおける改善された勾配推定により、BNNで最先端の性能を達成すること。

提案手法

• 有限個の正弦関数からなるフーリエ級数を用いて符号関数の勾配を近似し、無限項を用いる場合に損失なしの表現が可能である。
• 計算負荷を軽減するため、固定数（n）の項にフーリエ級数を切り捨て、信号エネルギーの大部分を占める低周波成分の保持に注力する。
• 高周波成分の係数を切り捨てることで生じる近似誤差を補償するため、訓練中にノイズ適応モジュールを導入する。
• 訓練の進行に従い、フーリエ項の数（n）を段階的に増加させることで、符号関数の近似を段階的に改善できるようにする。
• バックプロパゲーションにおいて、ストレートスラッシ推定子（STE）の代わりにフーリエベースの近似を用いることで、BNNのエンドツーエンド訓練を可能にする。
• 重みと活性化の両方に対して、バイナリ畳み込み層に本手法を適用し、分類のための最終層と最初の層はフル精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 周波数ドメインにおける符号関数の近似は、既存の勾配推定子と比較して、BNNにおける主勾配方向をより正確に保持できるか？
• RQ2 有限個の項に切り捨てたフーリエ級数は、計算コストを削減しつつも十分な表現力を持つか？
• RQ3 ノイズ適応モジュールは、フーリエベースの勾配推定子における高周波成分の切り捨て誤差を効果的に補正できるか？
• RQ4 提案手法であるFDA-BNNは、CIFAR-10やImageNetといった標準ベンチマークにおいて、最先端のBNNと比較して優れた精度を達成できるか？
• RQ5 訓練中にフーリエ項の数を段階的に増加させることで、収束性および最終的な性能にどのような影響を与えるか？

主な発見

• ResNet-18を用いたImageNetでは、トップ1精度が60.2%、トップ5精度が82.3%を達成し、Bireal-Net + PReLUベースラインをそれぞれ1.2%および1.0%上回った。
• ReActNetの勾配計算をFDA-BNNに置き換えた場合、トップ1精度が66.0%、トップ5精度が86.4%に達し、元のReActNetを0.5%および0.3%上回った。
• AlexNetでは、トップ1精度が46.2%、トップ5精度が69.7%を達成し、LNSを1.8%上回った。
• 本手法は、複数のアーキテクチャおよびデータセットにおいて高い性能を維持しており、汎用性と頑健性を示した。
• アブレーションスタディの結果、訓練中にフーリエ項の数（n）を増加させることで性能が向上し、段階的学習戦略の有効性が裏付けられた。
• ノイズ適応モジュールは、フーリエ近似における高周波成分の切り捨て誤差を低減することで、性能向上に寄与した。