[論文レビュー] ReNet: A Recurrent Neural Network Based Alternative to Convolutional Networks

Francesco Visin, Kyle Kastner+4 more|arXiv (Cornell University)|May 3, 2015

Advanced Neural Network Applications参考文献 58被引用数 234

ひとこと要約

ReNetは、深層ネットワーク内の畳み込み層およびプーリング層を、水平方向および垂直方向にそれぞれ2つの単方向RNN（合計4つ）で置き換える再帰的ニューラルネットワークアーキテクチャを提案する。MNIST、CIFAR-10、SVHNで評価した結果、競争力のある精度（MNISTでは0.45%のテスト誤差、CIFAR-10では12.35%、SVHNでは2.38%）を達成し、RNNが画像認識タスクにおけるCNNの代替手段として有効であることを示している。

ABSTRACT

In this paper, we propose a deep neural network architecture for object recognition based on recurrent neural networks. The proposed network, called ReNet, replaces the ubiquitous convolution+pooling layer of the deep convolutional neural network with four recurrent neural networks that sweep horizontally and vertically in both directions across the image. We evaluate the proposed ReNet on three widely-used benchmark datasets; MNIST, CIFAR-10 and SVHN. The result suggests that ReNet is a viable alternative to the deep convolutional neural network, and that further investigation is needed.

研究の動機と目的

• 再帰的ニューラルネットワーク（RNN）が、画像認識タスクにおいて畳み込みニューラルネットワーク（CNN）の有効な代替手段として機能できるかを検討すること。
• CNNの局所的受容 field の制限を克服し、画像特徴の逐次処理によってグローバルな文脈モデリングを可能にする。
• 多次元RNNの指数的複雑性を回避しつつも、グローバルな文脈認識を維持する計算効率の良いRNNベースのアーキテクチャを設計すること。
• 提案されたReNetアーキテクチャのオブジェクト認識のための標準ベンチマークデータセット上での性能を評価すること。
• 適切に構造化されたRNNが、最先端のCNNと同等の性能を画像分類タスクで達成できることを示すこと。

提案手法

• ReNetアーキテクチャは、CNN内の各畳み込み＋プーリング層を、上下方向、上下逆方向、左右方向、右左逆方向の4つの単方向RNNに置き換える。各RNNはその方向に沿って特徴マップを処理する。
• 各RNNは入力画像の重複のないパッチを処理し、スイープ方向に逐次的に隠れ状態を更新することで、各出力活性化が画像全体の文脈に依存するようにする。
• 長距離依存性を捉えるために、各方向ごとに前方と逆方向の2つの別々のRNNを使用し、最終的な出力は4つのRNNからの特徴を連結または統合することで得られる。
• 各層が前の層の特徴マップを処理するモジュール型で階層的な構造をとるため、深層階層的表現学習が可能になる。
• 画像全体にわたる長期依存性をより効果的に捉えるために、単純なRNNの代わりにゲート付き再帰ユニット（GRUまたはLSTM）を採用する。
• 標準的な時間に沿った誤差逆伝播（backpropagation through time）を用いて学習し、前方および逆方向のRNNを独立して処理することで並列化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークアーキテクチャは、標準的な画像認識ベンチマークで畳み込みニューラルネットワークと同等の性能を達成できるか？
• RQ2 画像特徴を走査する双方向RNNの使用により、局所的な畳み込み演算と比較して、グローバルな空間的文脈をより効果的にモデリングできるか？
• RQ3 MNIST、CIFAR-10、SVHNにおいて、提案されたReNetアーキテクチャは最先端のCNNと比較して、精度および効率の面でどう異なるか？
• RQ4 ReNetアーキテクチャにおいて、ゲート付き再帰ユニット（GRU/LSTM）を標準RNNと比較して使用した場合、画像認識性能にどのような影響を与えるか？
• RQ5 畳み込み演算に起因するインダクティブバイアスを一切持たない純粋なRNNベースのアーキテクチャは、画像データの階層的表現を効果的に学習できるか？

主な発見

• ReNetはMNISTデータセットで0.45%のテスト誤差を達成し、トップパフォーマンスモデルの仲間入りを果たし、最先端のCNNと同等の性能を示している。
• CIFAR-10では12.35%のテスト誤差を達成し、他のディープラーニングモデルと同等の性能を示しているが、最良のCNNを上回ることはできなかった。
• SVHNデータセットでは2.38%のテスト誤差を達成し、より複雑で現実世界に近い画像分類タスクにおいても優れた性能を示している。
• 結果から、ReNetは長距離空間的依存性を逐次処理によってモデリングできる点を踏まえ、画像認識におけるCNNの代替手段として有効であることが示唆される。
• ゲート付き再帰ユニット（GRUまたはLSTM）の使用は、標準RNNと比較して性能を顕著に向上させたことから、長期的な空間的依存性を効果的に学習できていることが示唆される。
• 競争力のある精度を達成しているものの、3つのベンチマークデータセットすべてにおいて、最先端のCNNを上回ることはできず、さらなるアーキテクチャ的イノベーションと最適化の余地があることが示された。