[論文レビュー] Weighted Sigmoid Gate Unit for an Activation Function of Deep Neural Network

Masayuki Tanaka|arXiv (Cornell University)|Oct 3, 2018

Advanced Image Processing Techniques参考文献 22被引用数 8

ひとこと要約

本稿では、入力特徴量とシグモイドゲート付きの重み付き変換の要素ごとの積を計算する、深層ニューラルネットワーク向けの新しい活性化関数である重み付きシグモイドゲートユニット（WiG）を提案する。WiGはReLUとSwishを一般化し、実験によりオブジェクト認識（CIFAR-10/100）および画像ノイズ除去タスクにおいて、従来の活性化関数を上回ることを示しており、最高水準のPSNRおよびSSIMスコアを達成した。

ABSTRACT

An activation function has crucial role in a deep neural network. A simple rectified linear unit (ReLU) are widely used for the activation function. In this paper, a weighted sigmoid gate unit (WiG) is proposed as the activation function. The proposed WiG consists of a multiplication of inputs and the weighted sigmoid gate. It is shown that the WiG includes the ReLU and same activation functions as a special case. Many activation functions have been proposed to overcome the performance of the ReLU. In the literature, the performance is mainly evaluated with an object recognition task. The proposed WiG is evaluated with the object recognition task and the image restoration task. Then, the expeirmental comparisons demonstrate the proposed WiG overcomes the existing activation functions including the ReLU.

研究の動機と目的

• 深層学習におけるReLUや既存の非線形活性化関数の限界を解決すること。
• 従来のシグモイドゲート付きユニットを一般化する、より柔軟で学習可能な活性化メカニズムを提案すること。
• 標準的なオブジェクト認識を越えた多様なタスクにおいて、提案された活性化関数の性能を評価すること。
• 分類および画像修復ベンチマークの両方で優れた性能を示すこと。

提案手法

• WiG活性化関数は、f(x) = x ⊙ σ(Wg x + bg) として定義され、ここで ⊙ は要素ごとの乗算、σ はシグモイド関数、Wg と bg は学習可能なパラメータである。
• 本手法は、Sigmoid-weighted Linear Unit (SiL) および Swish を拡張し、入力に依存するゲーティングに学習可能な重み行列 Wg を導入した。
• 畳み込みネットワークでは、WiGは畳み込みカーネル wg とバイアスマップ Bg を用いて実装され、空間的に適応的なゲーティングが可能となる：F(X) = X ⊙ σ(wg * X + Bg)。
• 微分は合成関数の微分法則を用いて導出され、非線形ゲーティング機構を介した誤差逆伝播が可能になる。
• アーキテクチャは線形重み付き層の直後にWiGを統合し、学習可能なブロック Wx ⊙ σ(Vx) を形成する。ここで V = W Wg である。
• 分類タスクではカテゴリカル交差エントロピー損失、ノイズ除去タスクではMSE損失を用い、Adamax最適化手法でモデルを学習した。

実験結果

リサーチクエスチョン

• RQ1 学習可能な、入力に依存するゲーティング機構は、固定された活性化関数（例：ReLU）よりも性能を向上させることができるか？
• RQ2 提案されたWiG活性化関数は、SiL や Swish などの既存のシグモイドゲート付きユニットを一般化することができるか？
• RQ3 WiGは、オブジェクト認識および画像修復タスクの両方でReLUや他の先進的な活性化関数を上回ることができるか？
• RQ4 画像ノイズ除去タスクにおいて、WiGの性能は異なるノイズレベルでどのように変化するか？

主な発見

• CIFAR-100では、WiGは検証精度94.9%を達成し、ReLU（93.5%）およびSwish（93.5%）を顕著に上回った。
• CIFAR-10では、WiGは94.9%の精度に達し、ReLU（93.5%）およびSwish（93.5%）を上回った。
• 画像ノイズ除去タスクでは、5 dBのノイズ条件下でWiGは37.29 dBのPSNRを達成し、ReLU（37.13 dB）およびSwish（37.13 dB）を上回った。
• 30 dBのノイズ条件下では、WiGは29.10 dBのPSNRを達成し、ReLU（28.96 dB）およびSwish（28.93 dB）を上回った。
• SSIM評価では、5 dBノイズ条件下でWiGは0.9390を達成し、ReLU（0.9383）およびSwish（0.9377）を上回った。
• CIFARデータセットにおいて、WiGは他の活性化関数と比較して、より速い収束速度と低い訓練交差エントロピー損失を示した。