[論文レビュー] Ising-Dropout: A Regularization Method for Training and Compression of Deep Neural Networks

Hojjat Salehinejad, Shahrokh Valaee|arXiv (Cornell University)|Feb 7, 2019

Machine Learning and Data Classification参考文献 10被引用数 4

ひとこと要約

本稿では、イジングモデルのエネルギー最小化を用いて、訓練中に可視ユニットおよび隠れユニットを適応的にドロップする正則化およびモデル圧縮手法であるIsing-Dropoutを提案する。ニューロンの活性化をイジング重みにマッピングし、富士通のデジタルアネーラーを用いて最適化することで、Fashion-MNISTにおいて最大55.86%のパラメータ最適化を削減しながら、競争力のある分類精度を維持した。

ABSTRACT

Overfitting is a major problem in training machine learning models, specifically deep neural networks. This problem may be caused by imbalanced datasets and initialization of the model parameters, which conforms the model too closely to the training data and negatively affects the generalization performance of the model for unseen data. The original dropout is a regularization technique to drop hidden units randomly during training. In this paper, we propose an adaptive technique to wisely drop the visible and hidden units in a deep neural network using Ising energy of the network. The preliminary results show that the proposed approach can keep the classification performance competitive to the original network while eliminating optimization of unnecessary network parameters in each training cycle. The dropout state of units can also be applied to the trained (inference) model. This technique could compress the network in terms of number of parameters up to 41.18% and 55.86% for the classification task on the MNIST and Fashion-MNIST datasets, respectively.

研究の動機と目的

• 不均衡または限られたデータセットで学習される深層ニューラルネットワークにおける過学習の問題に対処すること。
• 訓練中の最適化パラメータ数を削減し、収束を加速させるとともに一般化性能を向上させること。
• 推論段階で最も関連性が高く、良好に訓練されたパラメータのみを保持することで、モデル圧縮を可能にすること。
• 組合せ最適化（イジングモデルを用いて）を用いて、ランダムでない、適応的なドロップアウトをDNNに適用することの可能性を検討すること。
• MNISTおよびFashion-MNISTにおける深層MLPにおいて、モデル圧縮と分類精度のトレードオフを評価すること。

提案手法

• 深層MLPの各ニューロンの活性化をスピンガラスモデルにおけるコスト（イジング重み）にマッピングする。
• MCMCを用いて組合せ最適化問題を解く専用ハードウェアである富士通デジタルアネーラーを用い、イジングエネルギーを最小化し、最適なドロップアウト状態を特定する。
• イジング最適化器から得られるバイナリマスク（状態ベクトル）を生成し、訓練および推論時にドロップするユニットを特定する。
• バックプロパゲーションおよび推論の段階で、ネットワークの重みテンソルにこのマスクを適用することで、動的パラメータプルーニングを実現する。
• 各ミニバッチの訓練サイクルにIsing-Dropoutプロセスを統合し、毎エポックごとにマスクを再最適化する。
• 同じマスクを訓練および推論に使用することで、再トレーニングなしにモデル圧縮を実現する。

実験結果

リサーチクエスチョン

• RQ1 イジングエネルギー最小化は、深層ニューラルネットワークにおけるランダムドロップアウトよりも効果的で適応的なドロップアウト戦略を生み出せるか？
• RQ2 Ising-Dropoutは、一般化性能を維持または向上させながら、訓練中の最適化パラメータ数をどの程度削減できるか？
• RQ3 分類精度およびモデル圧縮効率の観点から、Ising-Dropoutは標準的ドロップアウトおよびドロップアウトなしのケースと比べてどのように性能を発揮するか？
• RQ4 Ising-Dropoutマスクを推論時に再利用することで、性能の低下を伴わずに顕著なモデル圧縮を達成できるか？
• RQ5 異なるネットワークの深さにおいて、Ising-Dropoutを適用した際のモデルサイズ削減と分類精度のトレードオフはいかなるものか？

主な発見

• Ising-Dropoutは、MNISTデータセットで41.18%のモデルパラメータ削減を達成したが、競争力のある分類精度を維持した。
• より複雑なFashion-MNISTデータセットでは、55.86%のモデル圧縮が達成され、フルネットワークと比較して精度が5.84%低下したにとどまった。
• 特に深層ネットワークにおいて、ランダムドロップアウトよりも精度および圧縮効率の両面で優れた性能を示した。
• 再トレーニングなしに、推論モデルを最大55.86%まで圧縮でき、適応的な優れた訓練済みパラメータの選択により性能が保持された。
• 顕著なパラメータプルーニングに対しても高い性能を維持したため、効果的な正則化および一般化性能を示した。
• 可視化結果から、Ising-Dropoutは、例えば数字の形状といった重要な入力特徴を保持しながら、背景や冗長ピクセルを除去していた。