[論文レビュー] Revisit Fuzzy Neural Network: Demystifying Batch Normalization and ReLU with Generalized Hamming Network

Lixin Fan|arXiv (Cornell University)|Oct 27, 2017

Neural Networks and Applications参考文献 18被引用数 15

ひとこと要約

本稿では、一般化ハミング距離（GHD）を用いてバッチ正規化やReLUといった深層学習技術をファジィ論理の観点から再解釈する一般化ハミングネットワーク（GHN）を提案する。GHDから導かれる正しいバイアス項を解析的に強制することで、バッチ正規化の必要性が排除され、MNIST、CIFAR、VAEのタスクにおいて、より高速な収束と良好に制御された挙動を示しながら、最先端の性能を達成する。ReLUも単純なタスクでは本質的でないことが示された。

ABSTRACT

We revisit fuzzy neural network with a cornerstone notion of generalized hamming distance, which provides a novel and theoretically justified framework to re-interpret many useful neural network techniques in terms of fuzzy logic. In particular, we conjecture and empirically illustrate that, the celebrated batch normalization (BN) technique actually adapts the normalized bias such that it approximates the rightful bias induced by the generalized hamming distance. Once the due bias is enforced analytically, neither the optimization of bias terms nor the sophisticated batch normalization is needed. Also in the light of generalized hamming distance, the popular rectified linear units (ReLU) can be treated as setting a minimal hamming distance threshold between network inputs and weights. This thresholding scheme, on the one hand, can be improved by introducing double thresholding on both extremes of neuron outputs. On the other hand, ReLUs turn out to be non-essential and can be removed from networks trained for simple tasks like MNIST classification. The proposed generalized hamming network (GHN) as such not only lends itself to rigorous analysis and interpretation within the fuzzy logic theory but also demonstrates fast learning speed, well-controlled behaviour and state-of-the-art performances on a variety of learning tasks.

研究の動機と目的

• バッチ正規化やReLUといった深層学習技術を、ファジィ論理と一般化ハミング距離（GHD）を用いて再フレームする。
• GHDから導かれる正しいバイアスを解析的に強制することで、バッチ正規化が不要であることを示す。
• MNIST分類のような単純なタスクにおいて、ReLU活性化関数が本質的でないことを示す。
• 厳密な理論的解析と優れた学習ダイナミクスを可能にする一般化ハミングネットワーク（GHN）を開発する。
• ファジィ論理の原則に根ざした統一的で解釈可能なフレームワークを提供することで、深層学習を再構築する。

提案手法

• 実数値の入力と重みに対して、一般化ハミング距離（GHD）を h(x, w) = x + w - 2xw として定義し、ニューロン出力の計算と関連付ける。
• GHDから導かれるバイアス条件を満たす一般化ハミングネットワーク（GHN）を定義し、学習可能なバイアス最適化の必要性を排除する。
• GHDから得られる解析的バイアス項 h(x, w) を用いてニューロン出力を補正する手法を提案し、内部分布シフトを根本から是正することでバッチ正規化の必要性を排除する。
• ニューロン出力に最小および最大のしきい値を設定する二重しきい値処理スキームを導入し、ファジィ要因を抑制することで学習効率を向上させる。
• バッチ正規化やReLUを一部のケースで使用しない状態で、MNIST、CIFAR、VAE、文書分類などのさまざまなタスクに、補正済みGHNを適用する。
• VAEでは再構成誤差の直接最小化、CNNでは分類損失の最小化を実施し、GHNの内在的安定性のおかげで重み正則化を省略する。

実験結果

リサーチクエスチョン

• RQ1 バッチ正規化は、一般化ハミング距離（GHD）から導かれる解析的バイアス補正によって理論的に正当化され、置き換え可能であるか？
• RQ2 ReLU活性化関数は深層学習において本質的であるか、それとも単純なタスクで性能劣化を来さずに削除可能であるか？
• RQ3 GHDを用いて正しいバイアス項を強制することで、多様な学習タスクにおける学習速度、収束性、モデル性能にどのような影響を与えるか？
• RQ4 ファジィ論理に基づくニューラルネットワークアーキテクチャは、最先端の性能を達成しつつ、解釈可能で良好に制御されたものとなるか？
• RQ5 二重しきい値処理は、ニューロン出力におけるファジィ要因の抑制と学習効率の向上にどのような影響を与えるか？

主な発見

• VAEをMNISTで学習した場合、補正済みGHNはベースラインと比較して最小再構成誤差を28%低減し、収束がより速かった。
• CIFAR-10では、最適化された二重しきい値処理を施したGHNが89.26%のテスト精度を達成し、しきい値処理なしのベースライン（84.63%）を上回った。
• CIFAR-100では、二重しきい値処理を施したGHNが60.05%の精度を達成し、非しきい値処理バージョン（51.71%）と比べ顕著な向上を示した。
• MNIST分類において、ReLUを完全に削除しても性能に劣化が生じず、ReLUが単純なタスクでは本質的でないことが実証された。
• 補正済みGHNは、バッチ正規化や重み正則化を一切使用しない状態でも、文書分類やVAEを含むすべての評価タスクで高速な学習速度と良好に制御された挙動を示した。
• 提案されたフレームワークはファジィ論理に基づく厳密な理論的解析を可能にし、深層学習に対する新たな解釈的視点を提供する。