[論文レビュー] Feed Forward and Backward Run in Deep Convolution Neural Network

P. P. Murugan|arXiv (Cornell University)|Nov 9, 2017

Neural Networks and Applications参考文献 7被引用数 13

ひとこと要約

この論文は、深層畳み込みニューラルネットワーク（CNN）における順方向伝播と誤差逆伝播の包括的な数学的説明を提供しており、アーキテクチャ、活性化関数（ReLU、シグモイド）、損失関数（交差エントロピー）、勾配に基づくパラメータ更新を焦点としています。畳み込み層、プーリング層、全結合層を通る順方向伝播の詳細を述べた後、確率的勾配降下法を用いて重みとバイアスの更新に必要な勾配を計算する誤差逆伝播を示し、簡略化されたグレースケール画像設定におけるCNNのメカニズムを理解するための基盤的ガイドを提供しています。

ABSTRACT

Convolution Neural Networks (CNN), known as ConvNets are widely used in many visual imagery application, object classification, speech recognition. After the implementation and demonstration of the deep convolution neural network in Imagenet classification in 2012 by krizhevsky, the architecture of deep Convolution Neural Network is attracted many researchers. This has led to the major development in Deep learning frameworks such as Tensorflow, caffe, keras, theno. Though the implementation of deep learning is quite possible by employing deep learning frameworks, mathematical theory and concepts are harder to understand for new learners and practitioners. This article is intended to provide an overview of ConvNets architecture and to explain the mathematical theory behind it including activation function, loss function, feedforward and backward propagation. In this article, grey scale image is taken as input information image, ReLU and Sigmoid activation function are considered for developing the architecture and cross-entropy loss function are used for computing the difference between predicted value and actual value. The architecture is developed in such a way that it can contain one convolution layer, one pooling layer, and multiple dense layers

研究の動機と目的

• 初心者や実務家向けに、深層畳み込みニューラルネットワーク（CNN）における順方向伝播と誤差逆伝播のプロセスを明確かつ数学的に説明すること。
• 畳み込み層、プーリング層、全結合層といったCNNのコアな構成要素を、その数学的演算を段階的に導出することで解明すること。
• ReLUやシグモイドといった活性化関数と、交差エントロピーのような損失関数が、簡略化されたグレースケール画像入力におけるCNNの学習に果たす役割を説明すること。
• 合成微分法と誤差逆伝播を用いて、畳み込み層および全結合層における重みとバイアスの勾配計算を導出し説明すること。
• 勾配降下法によるパラメータ更新の明確な式を提示しながら、CNNにおける順方向および逆方向伝播の完全でエンドツーエンドのワークフローを提示すること。

提案手法

• ネットワークのアーキテクチャは、1つの畳み込み層、1つのプーリング層、複数の全結合層から構成され、入力はグレースケール画像である。
• 順方向伝播では、線形変換（z = Wx + b）を用いて活性化を計算し、その後にReLUやシグモイド関数による非線形活性化を適用する。
• 損失関数は、予測値と真のラベルの間の交差エントロピーとして定義され、モデルの性能評価に用いられる。
• 誤差逆伝播では、最終層から始まり、ネットワーク全体にわたり誤差を逆方向に伝播させる合成微分法を用いて勾配を計算する。
• 重みとバイアスの勾配は偏微分を用いて導出され、∂L/∂W および ∂L/∂b として表され、ReLUおよびシグモイド活性化関数に対して特定の式が与えられる。
• パラメータの更新は、学習率αを用いた標準的な確率的勾配降下法（SGD）により実行され、重みとバイアスはそれぞれ W = W - α·∂L/∂W および b = b - α·∂L/∂b として更新される。

実験結果

リサーチクエスチョン

• RQ1 CNNにおける順方向伝播は、畳み込み層、プーリング層、全結合層を通じてどのように信号を伝播させるのか？
• RQ2 CNNにおける損失関数の定義と、そのネットワークパラメータに関する勾配の数学的導出は何か？
• RQ3 誤差逆伝播を用いて、畳み込み層における重みとバイアスの損失関数の勾配はどのように計算されるか？
• RQ4 ReLU やシグモイドのような活性化関数は、CNNにおける出力と勾配の流れにどのように寄与するか？
• RQ5 誤差信号はどのようにネットワーク全体に逆方向に伝播され、畳み込み層におけるカーネル重みとバイアスの勾配はどのように計算されるか？

主な発見

• 順方向伝播では、線形結合（z = Wx + b）を用いて層ごとの活性化を計算し、その後に非線形活性化（ReLU または シグモイド）を適用することで、特徴マップおよび最終的な予測が得られる。
• 交差エントロピー損失関数が、予測値と真のラベルの差を測定するために用いられ、出力層に関する損失の微分を用いて勾配が計算される。
• 最終の全結合層において、バイアスに関する勾配は ∂L/∂b^L+1_i = z^{L-1}_i - y_i として導出され、ReLU活性化を仮定している。
• 畳み込み層における重みに関する損失の勾配は、∂L/∂k^{p,q}_{u,v} = Σ_{m,n} (P^{p,q}_{m,n}) · I_{m-u,n-v} として計算され、P^{p,q}_{m,n} は上流の勾配である。
• 畳み込み層におけるバイアスに関する勾配は、上流の勾配の合計として表される：∂L/∂b^{p,q} = Σ_{m,n} ∂L/∂C^{p,q}_{m,n}。
• パラメータの更新は標準的なSGDにより実行され、学習率αと計算された勾配を用いて重みとバイアスが更新される。