[論文レビュー] Towards a Theoretical Understanding of Hashing-Based Neural Nets

Yibo Lin, Zhao Song+1 more|arXiv (Cornell University)|Dec 26, 2018

Advanced Neural Network Applications被引用数 4

ひとこと要約

この論文は、ハッシュ化によるランダムな線形スケッチが、低次元多様体上でのネットワーク性能を保持することを示し、ハッシュ化ベースのニューラルネットワーク圧縮に対する理論的保証を初めて提示する。スケッチされたネットワークが元のネットワークを近似できることを証明し、1層の隠れ層をもつHashedNetが、弱い条件下でも局所的強い凸性を示すことを示している。

ABSTRACT

Parameter reduction has been an important topic in deep learning due to the ever-increasing size of deep neural network models and the need to train and run them on resource limited machines. Despite many efforts in this area, there were no rigorous theoretical guarantees on why existing neural net compression methods should work. In this paper, we provide provable guarantees on some hashing-based parameter reduction methods in neural nets. First, we introduce a neural net compression scheme based on random linear sketching (which is usually implemented efficiently via hashing), and show that the sketched (smaller) network is able to approximate the original network on all input data coming from any smooth and well-conditioned low-dimensional manifold. The sketched network can also be trained directly via back-propagation. Next, we study the previously proposed HashedNets architecture and show that the optimization landscape of one-hidden-layer HashedNets has a local strong convexity property similar to a normal fully connected neural network. We complement our theoretical results with empirical verifications.

研究の動機と目的

• ニューラルネットワーク圧縮における実験的成果と理論的理解のギャップを埋めること。
• 深層学習におけるハッシュ化ベースのパラメータ削減手法に対する厳密な理論的裏付けを提供すること。
• ランダム線形スケッチを用いたスケッチベースのニューラルネットワーク圧縮に対する近似保証を確立すること。
• HashedNetの最適化のランドスケープを分析し、1層の隠れ層をもつネットワークにおける局所的強い凸性を示すこと。
• 弱い仮定の下で、HashedNetのパラメータが勾配降下法を用いて理論的に回復可能であることを示すこと。

提案手法

• ハッシュ関数を用いて効率的に実装可能なランダム線形スケッチを用いたニューラルネットワーク圧縮方式を提案する。
• 部分空間埋め込み理論を用いて、スケッチが、高確率で低次元多様体上での内積を保持することを示す。
• 重み行列にスケッチを適用し、ハッシュバケット内での重み共有を強制することで、パラメータを削減する。
• 1層の隠れ層をもつHashedNetの最適化のランドスケープを分析し、完全結合ネットワークと同様の局所的強い凸性を示す。
• 均一なバケット分布と理論的保証を確保するため、k-独立なハッシュ関数を用いる。
• 集中不等式と確率的バウンド（例：補題C.12）を用いて、ハッシュバケットの占有状況と行列のランク特性を分析する。

実験結果

リサーチクエスチョン

• RQ1 ハッシュ化ベースの圧縮は、滑らかで良好に条件付けられた低次元データ多様体上での深層ニューラルネットワークの近似能力を保持できるか？
• RQ2 HashedNetの最適化のランドスケープは、局所的強い凸性といった好ましい性質を示すか？
• RQ3 弱い仮定の下で、1層の隠れ層をもつHashedNetのパラメータを勾配降下法により理論的に回復可能か？
• RQ4 ハッシュ化によるランダム線形スケッチは、圧縮されたネットワークの一般化性能と学習ダイナミクスにどのように影響するか？
• RQ5 ハッシュ化ベースのニューラルネットワークに対して、安定性と収束性に関する理論的保証を提供できるか？

主な発見

• スケッチされたネットワークは、任意の滑らかで良好に条件付けられた低次元多様体からのすべての入力に対して、高確率で元のネットワークを近似する。
• スケッチ手法により、データポイント間の内積がε近似内で保持され、正確な関数近似が可能になる。
• 弱い条件下でも、1層の隠れ層をもつHashedNetの最適化目的関数は、完全結合ネットワークと同様に局所的強い凸性を示す。
• Zhongら（2017b）のアルゴリズムを用いることで、HashedNetの良い初期化が得られ、理論的なパラメータ回復が可能になる。
• 実騈結果により、HashedNetの重み行列が、低い条件数や安定したランクといった好ましい数値的性質を維持することが確認された。
• 理論的分析により、高確率で、t-独立なハッシュ関数（t=Θ(log N) または t=Θ(log B)）を用いることで、ハッシュバケットが入力を均一に分配することが示された。