[論文レビュー] Highway and Residual Networks learn Unrolled Iterative Estimation

Klaus Greff, Rupesh K. Srivastava+1 more|arXiv (Cornell University)|Dec 22, 2016

Machine Learning and Algorithms被引用数 101

ひとこと要約

本論文は Highway ネットワークと Residual ネットワークを、ステージ内の単一表現の未展開反復推定として再解釈し、両アーキテクチャをこの見方から導出し、言語モデリングと画像分類において経験的に比較する。

ABSTRACT

The past year saw the introduction of new architectures such as Highway networks and Residual networks which, for the first time, enabled the training of feedforward networks with dozens to hundreds of layers using simple gradient descent. While depth of representation has been posited as a primary reason for their success, there are indications that these architectures defy a popular view of deep learning as a hierarchical computation of increasingly abstract features at each layer. In this report, we argue that this view is incomplete and does not adequately explain several recent findings. We propose an alternative viewpoint based on unrolled iterative estimation -- a group of successive layers iteratively refine their estimates of the same features instead of computing an entirely new representation. We demonstrate that this viewpoint directly leads to the construction of Highway and Residual networks. Finally we provide preliminary experiments to discuss the similarities and differences between the two architectures.

研究の動機と目的

• 非常に深いネットワークの表現中心の理解に対する別の見方を動機づける。
• Highway ブロックと Residual ブロックがステージ内の表現を洗練させる機構として、未展開反復推定を導入する。
• 厳密に Residual ネットワークと Highway ネットワークを導出する、反復推定の視点。
• 画像分類と言語モデリングタスクで Highway と Residual アーキテクチャを実証的に比較する。

提案手法

• ステージ内のブロックを、層を跨いで特徴の同一性を保持しつつ単一の特徴表現を反復的に精練するものとして見ることを提案する。
• 反復推定の見方の下で特徴の同一性を保つ零平均残差ブロックとして Residual ネットワークを導出する。
• 過去の推定と新しい変換の最適な線形結合として Highway ネットワークを導出し、結合ゲート H(x) と T(x) を生み出す式を得る。
• 段階全体にわたる推定誤差指標を含む解析的・経験的裏付けと、可視化にヒントを得た証拠を提供する。
• ImageNet と言語モデリングのベンチマークで Highway 対 Residual のバリアントを比較するケーススタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 Highway ネットワークと Residual ネットワークは、統合された未展開反復推定の視点から導出できるだろうか。
• RQ2 ステージ内のブロックは、新しい抽象を作るのではなく、単一の表現を反復的に洗練させるのか。
• RQ3 この枠組みの下で、視覚タスクと言語タスクにおける Highway と Residual アーキテクチャの実践的な比較はどうなるか。
• RQ4 訓練ダイナミクス、剪定、層のシャッフルに対する反復推定の含意は何か。
• RQ5 反復推定の下で、ゲーティング（変換とキャリー）およびバッチ正規化がこれらのアーキテクチャで果たす役割は何か。

主な発見

• Residual ネットワークは、ステージ内の層間でゼロ平均の残差を持つことで特徴の同一性を保持するものとして解釈できる。
• Highway ネットワークは、過去の推定と新しい変換の最適な線形結合として導出でき、特徴の同一性を保持する結合ゲート（H と T）を生む。
• 実証結果は ResNet が ImageNet で Highway よりわずかに良い Top-5 精度を達成しており（7.17% 対 7.53%、Highway、Highway-Full は 7.29%）、BNを用いた Highway バリアントがギャップを縮め得ることを示す。
• 言語モデリングの実験では、Full、Coupled、C-Only Highway バリアントが Residual バリアントより優れており、特定のタスクにおける表現力豊かなゲーティングの重要性を強調している。
• 本研究は、ステージ内の特徴が層を跨って洗練されるという定性的・視覚的証拠を提供しており、反復推定の見方を裏付ける。
• 層ドロップアウトと稀に起きる層のシャッフル効果は、反復推定の下でアンサンブルのような解釈と整合する。