[論文レビュー] The High-Dimensional Geometry of Binary Neural Networks

Alexander G. Anderson, Cory P. Berg|arXiv (Cornell University)|May 19, 2017

Neural Networks and Applications被引用数 14

ひとこと要約

この論文は、高次元幾何学がベクトル間のドット積と方向的関係を保持することにより、極めて精度を落としても高性能を達成するバイナリニューラルネットワーク（BNNs）の理由を説明している。主な洞察は、高次元においてバイナリゼーションが角度とドット積の忠実性を概ね維持することであり、これにより最小限の精度損失で効果的な特徴抽出が可能になる。

ABSTRACT

Recent research has shown that one can train a neural network with binary weights and activations at train time by augmenting the weights with a high-precision continuous latent variable that accumulates small changes from stochastic gradient descent. However, there is a dearth of theoretical analysis to explain why we can effectively capture the features in our data with binary weights and activations. Our main result is that the neural networks with binary weights and activations trained using the method of Courbariaux, Hubara et al. (2016) work because of the high-dimensional geometry of binary vectors. In particular, the ideal continuous vectors that extract out features in the intermediate representations of these BNNs are well-approximated by binary vectors in the sense that dot products are approximately preserved. Compared to previous research that demonstrated the viability of such BNNs, our work explains why these BNNs work in terms of the HD geometry. Our theory serves as a foundation for understanding not only BNNs but a variety of methods that seek to compress traditional neural networks. Furthermore, a better understanding of multilayer binary neural networks serves as a starting point for generalizing BNNs to other neural network architectures such as recurrent neural networks.

研究の動機と目的

• 1ビットの重みと活性化を持つバイナリニューラルネットワーク（BNNs）が、極めて精度を落としても高い性能を維持できる理由を説明すること。
• 高次元バイナリベクトルの幾何的性質を分析し、それらが連続的表現をどのように近似できるかを明らかにすること。
• 高次元における方向性およびドット積関係の保存に基づいて、BNNsの理論的基盤を提供すること。
• データがバイナリゼーション軸に対して非ランダムに配置されている場合に、特に最初の層におけるアーキテクチャの改善を支援するため、その相対的配置を同定すること。
• 高次元空間に埋め込まれた低次元データに対して、一般化されたバイナリゼーション技術を提案すること。

提案手法

• ランダムな高次元ベクトルとそのバイナリゼーション版の間の角度を分析し、次元が増加するにつれて約37°に収束することを示した。
• バッチ正規化された重みと活性化のドット積が、バイナリゼーション後も概ね保存されることを示し、安定した学習ダイナミクスを支持した。
• 非微分可能なバイナリゼーションを逆伝播可能にするために、ストレートスラッシュ推定法（Bengio et al., 2013）を用い、連続的重みを勾配推定器として使用した。
• データの方向が非ランダムである場合に、バイナリゼーション軸と一致するように回転を施した後、バイナリゼーションを行う一般化バイナリゼーション変換（GBT）を提案した。
• CIFAR10を用いた実験的検証により、バイナリゼーション後の重み-活性化ドット積に最小限の歪みが生じることを示した。
• 最初の層で連続的畳み込みを用いて画像を高次元バイナリ空間に埋め込み、以降はバイナリ操作を行うことを提言した。

実験結果

リサーチクエスチョン

• RQ1 1ビットの重みと活性化を持つバイナリニューラルネットワークが、なぜフル精度ネットワークとほぼ同等の性能を達成できるのか？
• RQ2 バイナリゼーションが、高次元ベクトル間の方向的関係をどの程度保持するのか？
• RQ3 実際のBNNにおいて、バイナリゼーション後の重み-活性化ドット積はどの程度保存されているのか？
• RQ4 データがバイナリゼーション軸に対して非ランダムに配置されている場合、BNNの最初の層が深層部と根本的に異なるのはなぜか？
• RQ5 高次元空間においてデータが非ランダムに配置されている場合、一般化されたバイナリゼーション変換により性能向上が図れるか？

主な発見

• ランダムな高次元ベクトルとそのバイナリゼーション版の間の角度は、次元が高くなるにつれて約37°に収束し、強い方向性の保存が示された。
• バッチ正規化された重みと活性化のドット積は、バイナリゼーション後も概ね保存されており、安定した学習ダイナミクスを支持する。
• Courbariaux et al. (2016) の手法で用いられる連続的重みは、単なる学習の副産物ではなく、一貫した勾配推定器に対応している。
• BNNの最初の層は、バイナリゼーション軸に対して非ランダムに配置されたデータを処理しており、主成分が低周波数のフーリエモードに一致している。
• CIFAR10では、最初の層に連続的畳み込みを用いることで性能が向上し、理論的予測と整合的であった。
• 非ランダムなデータ配置、特に低次元部分空間において有効な一般化バイナリゼーション変換（回転 → バイナリゼーション → 再度回転）を提案した。