[論文レビュー] Resnet in Resnet: Generalizing Residual Architectures

Sasha Targ, Diogo Almeida+1 more|arXiv (Cornell University)|Mar 25, 2016

Advanced Neural Network Applications参考文献 15被引用数 656

ひとこと要約

RiR は並列の残差ストリームとトランジェント（過渡的）ストリームを備えた一般化された残差ブロックを導入し、ResNet を上回り CIFAR-100 で最先端を達成します。追加の計算コストをかけることなく、CNNs と ResNets を一般化します。

ABSTRACT

Residual networks (ResNets) have recently achieved state-of-the-art on challenging computer vision tasks. We introduce Resnet in Resnet (RiR): a deep dual-stream architecture that generalizes ResNets and standard CNNs and is easily implemented with no computational overhead. RiR consistently improves performance over ResNets, outperforms architectures with similar amounts of augmentation on CIFAR-10, and establishes a new state-of-the-art on CIFAR-100.

研究の動機と目的

• 初期の表現から情報を捨てることを許容することで、残差ネットワークの改善を動機付ける。
• 残差ブロックを一般化し、残差ストリームと非残差（トランジェント）ストリームを並行に組み合わせる。
• RiR として具体化された一般化残差アーキテクチャが、CIFAR データセットで標準的な ResNet よりも優れた性能を発揮することを示す。
• ResNet Init が追加のパラメータなしで一般化残差ブロックの効果的な実装を可能にすることを示す。
• 深さの頑健性と、二重ストリーム処理が残差表現の学習に与える影響を探る。

提案手法

• 二つの並列ストリームを持つ一般化残差ブロックを定義する：恒等ショートカットを持つ残差ストリーム（r）と、標準の畳み込み処理を持つトランジェントストリーム（t）。
• クロスストリーム畳み込み W_{l,r→t}, W_{l,t→r} を導入し、r と t を共有活性化、バッチ正規化、ReLU で結合する（Equation 1）。
• ストリームを連結し、分離した線形演算と正確に等価になるように変更された初期化（ResNet Init）を介して一般化ブロックを実装する（Equation 2）。
• ResNet ブロックの各畳み込みを一般化残差ブロックに置換して RiR を構築し、残差ストリームに戻す前の有効処理深度を変化させられるようにする。
• グリッドサーチで調整されたハイパーパラメータ（学習率スケジュール、初期化、最適化アルゴリズム、L2）と標準的な拡張を用いて CIFAR-10/100 のアーキテクチャを比較する。
• さまざまなブロック深さと構成で評価し、深さの頑健性と各ストリームの寄与を評価する。

実験結果

リサーチクエスチョン

• RQ1 デュアルストリームを持つ一般化残差ブロックは、標準の ResNet ブロックより表現力と最適化を向上させるか？
• RQ2 RiR は CIFAR-10 および CIFAR-100 で ResNet および ResNet Init を上回ることができるか、より深いまたはより広い構成も含めて？
• RQ3 残差ストリームとトランジェントストリーム間の情報分布が学習と最終精度にどう影響するか？
• RQ4 ResNet Init はパラメータを増やすことなく一般化残差ブロックを実装する現実的で効果的な方法か？
• RQ5 深さとブロック構造が伝統的な ResNets と比較して RiR の性能にどのように影響するか？

主な発見

• RiR は CIFAR-10 および CIFAR-100 の実験で元の ResNet を上回る。
• ResNet Init は標準的な CNN のベースラインおよび ResNet の変種を一貫して改善する。
• RiR は CIFAR-100 で最先端の結果を達成し、CIFAR-10 では標準的な拡張で競争力のある性能を示す。
• 残差ストリームとトランジェントストリームの両方が精度に寄与し、それらの相対的な使用は処理段階に応じて変化する。
• RiR は標準の ResNet よりも深い残差をより効果的に訓練でき、深さの頑健性の向上を示している。