[論文レビュー] Informational Neurobayesian Approach to Neural Networks Training. Opportunities and Prospects

Artem V. Artemov, Evgeniy Veniaminovich Lutsenko+2 more|arXiv (Cornell University)|Oct 19, 2017

Neural Networks and Applications被引用数 4

ひとこと要約

本稿は、シナプス結合荷重を任意の値ではなく情報量の尺度として解釈することで、ニューラルネットワークの訓練を新たな方法で行う情報的ニューロベイジアンアプローチ（INA）を紹介する。情報理論とベイズ更新を活用することで、計算複雑性をO(log n)に低減し、標準CPU上での大規模モデル（63億パラメータの単語認識システムなど）の訓練を3時間未塔で実現。最小限のデータとGPUを用いずに、テキスト再構築タスクでF1スコア0.97以上を達成。

ABSTRACT

A study of the classification problem in context of information theory is presented in the paper. Current research in that field is focused on optimisation and bayesian approach. Although that gives satisfying results, they require a vast amount of data and computations to train on. Authors propose a new concept named Informational Neurobayesian Approach (INA), which allows to solve the same problems, but requires significantly less training data as well as computational power. Experiments were conducted to compare its performance with the traditional one and the results showed that capacity of the INA is quite promising.

研究の動機と目的

• 従来のディープラーニングおよびベイジアンニューラルネットワーク訓練における高いデータおよび計算リソース要件に対処すること。
• ニューラルネットワークの重みを任意のパrameterではなく情報量として解釈する手法を開発すること。
• GPUを用いずに標準CPU上で大規模ニューラルモデルを訓練可能にするよう実現すること。
• 特に自然言語およびテキスト認識タスクにおいて、低データ量およびワンショット学習状況での性能向上を図ること。
• 加法的情報特性を活用し、情報に基づく重み合成によって階層的・マルチレベルのニューラルネットワークを構築可能にする。

提案手法

• ハルケヴィチの公式に基づき、クラス出力の事後確率と事前確率の対数比として、ニューラルネットワークの重みを情報量として解釈する。
• 情報理論的システム理論（STI）を適用し、結果予測における特徴の情報的価値を定量化することで、情報に基づく重み割り当てを可能にする。
• Eステップ（情報量の計算）とMステップ（モデルパラメータの更新）を繰り返すEMに類似したアルゴリズムを用い、情報の出現を最適化する。
• 重みの正則化に事前分布を用いる修正されたベイズフレームワークを採用し、過学習を低減し、限られたデータからの学習を可能にする。
• EステップがO(log n)、MステップがO(n log n)の対数的複雑性を持つ学習アルゴリズムを導入し、勾配降下法（O(n²)）と比較して計算コストを顕著に削減する。
• 情報ニューロモデルを独立して訓練可能とし、各ニューロンの入力が低次の情報モデルである、モジュラーな構造を持つ深層でマルチレベルのニューラルネットワークを構築可能にする。

実験結果

リサーチクエスチョン

• RQ1 情報理論的原則に基づいてニューラルネットワークの訓練を再定義することで、データおよび計算リソース要件を削減可能か？
• RQ2 重みを情報量として解釈することで、低データ量またはワンショット学習タスクにおけるモデル性能がどのように向上するか？
• RQ3 情報ベースの最適化フレームワークを用いることで、GPUを一切使用せずに標準CPU上での大規模ニューラルネットワークの効果的訓練が可能か？
• RQ4 加法的情報特性が、マルチレイヤーのニューラルネットワークの構成に与える影響は何か？
• RQ5 古典的勾配降下法およびニューロベイジアンアプローチと比較して、本手法の正確性、速度、リソース効率性はどのように差異を示すか？

主な発見

• INA手法は、10万語のデータのみを用いてロシア語の単語認識タスクでF1スコア0.98を達成し、低データ量で複雑なテキストタスクにおいて優れた性能を示した。
• 63億パラメータのロシア語単語認識用ニューラルモデルが、標準のCPUオンリーサーバー（Intel Xeon E5-1650 v3、128 GB RAM）で2時間35分で訓練され、GPUを一切使用しなかった。
• 1文字およびバイグラムあたりのパープレキシティが1.26に留まり、シーケンスモデリングおよび情報予測の高精度を示した。
• MNISTでは1エポックでF1スコア0.81を達成し、同様の制約下でベースライン結果を顕著に上回った。
• ハウスプライス回帰タスクでは1エポックでRMSEが0.42に達し、最高の既知の結果（0.06628）と比較して、ピークパフォーマンスを最適化していないにもかかわらず、大きな潜在的価値を示した。
• INAアルゴリズムの計算複雑性は、EステップがO(log n)、MステップがO(n log n)であり、古典的勾配降下法（O(n²)）と比較して顕著な改善を示し、一般ハードウェア上での効率的訓練を可能にした。