[論文レビュー] Convolutional Residual Memory Networks

Joel Ruben Antony Moniz, Christopher Pal|arXiv (Cornell University)|Jun 16, 2016

Advanced Neural Network Applications参考文献 28被引用数 11

ひとこと要約

本稿では、深層残差畳み込みニューラルネットワークに長短期記憶（LSTM）ユニットを統合することで、特徴記憶と勾配の流れを向上させる、新しいアーキテクチャである畳み込み残差記憶ネットワーク（CRMN）を提案する。階層的な特徴表現をLSTMで処理することにより、深層ResNetよりも層数が少なく、計算量も少ないにもかかわらず、CIFAR-100で95.84%の精度を達成し、最先端の性能を実現した。

ABSTRACT

Very deep convolutional neural networks (CNNs) yield state of the art results on a wide variety of visual recognition problems. A number of state of the the art methods for image recognition are based on networks with well over 100 layers and the performance vs. depth trend is moving towards networks in excess of 1000 layers. In such extremely deep architectures the vanishing or exploding gradient problem becomes a key issue. Recent evidence also indicates that convolutional networks could benefit from an interface to explicitly constructed memory mechanisms interacting with a CNN feature processing hierarchy. Correspondingly, we propose and evaluate a memory mechanism enhanced convolutional neural network architecture based on augmenting convolutional residual networks with a long short term memory mechanism. We refer to this as a convolutional residual memory network. To the best of our knowledge this approach can yield state of the art performance on the CIFAR-100 benchmark and compares well with other state of the art techniques on the CIFAR-10 and SVHN benchmarks. This is achieved using networks with more breadth, much less depth and much less overall computation relative to comparable deep ResNets without the memory mechanism. Our experiments and analysis explore the importance of the memory mechanism, network depth, breadth, and predictive performance.

研究の動機と目的

• 極めて深い畳み込みネットワークにおける消失勾配問題に対処するため、記憶メカニズムを統合すること。
• LSTMベースの記憶インターフェースを用いて、深層畳み込みニューラルネットワークが層を跨いで高レベル特徴を選択的に保持・操作できるようにすること。
• ネットワークの深さと計算コストを低減しつつ、CIFAR-10、CIFAR-100、SVHNなどの標準的なビジョンベンチマークでの分類性能を向上させること。
• 深層学習アーキテクチャにおけるネットワークの深さ、広がり、および記憶メカニズムの有効性の相乗的な関係を解明すること。

提案手法

• 連続する残差ブロックからの特徴マップを逐次入力として処理するLSTMを、深層残差ネットワークに追加する。
• LSTMを用いてネットワーク層を跨いで記憶状態を維持・操作することで、長距離の特徴保持と文脈的推論を可能にする。
• CNNバックボーンからの高レベルで抽象的な特徴をLSTMの入力ステップとして処理し、各抽象化レベルで記憶を更新可能にする。
• 分類器ヘッドの直前で、LSTMの最終隠れ状態と最終CNN特徴を組み合わせ、統合的な表現学習を実現する。
• CNNとLSTMが同時に動作する並列計算パスを採用することで、標準的な畳み込み演算と併せてアルゴリズム処理を実現する。
• 繰り返しランダム学習率スケジューリング（RRLR）を適用し、より深い構成の安定性を高めるために事前活性化残差ブロックを用いる。

実験結果

リサーチクエスチョン

• RQ1 残差CNNにLSTM記憶メカニズムを統合することで、画像分類ベンチマークでの性能向上が図れるか？
• RQ2 記憶メカニズムは、非常に深いネットワークにおける勾配の流れと学習安定性にどのように影響を与えるか？
• RQ3 標準的な深層ResNetと比較して、CRMNアーキテクチャはより少ない深さと計算量で最先端の結果を達成できるか？
• RQ4 CIFAR-10、CIFAR-100、SVHNにおける予測性能に、ネットワークの深さ、幅、記憶メカニズムの相対的寄与度は何か？
• RQ5 記憶強化アーキテクチャは、SVHNのような実世界のデータセットに対しても一般化可能であり、最小限の構造的変更で高い精度を維持できるか？

主な発見

• CRMNは、発表当時、CIFAR-100で95.84%のトップ-1精度を達成し、新たな最先端水準を樹立した。
• CIFAR-10では、28層・160特徴マップのCRMNモデルが95.60%の精度を達成し、ワイドResNetを含む先行手法を上回った。
• SVHNでは98.32%のテスト精度を達成し、以前の最高記録98.36%をわずかに上回り、確率的深さやドロップアウトベースの手法を上回った。
• CRMNは、はるかに少ない層数で競争力のある性能を示した。例えば、32層・192特徴マップのCRMNは、CIFAR-100で1001層のResNetを上回った。
• 記憶メカニズムは不可欠であることが判明した。アブレーションスタディでは、LSTMを削除した場合に性能が低下したため、特徴保持と勾配安定性におけるその役割が確認された。
• 本アーキテクチャは、極めて深い構成に比べ、深さの低減と幅の拡大に加え記憶メカニズムを組み合わせることで、より優れた性能が得られることを示した。