[論文レビュー] Multi-Residual Networks.

Masoud Abdi, Saeid Nahavandi|arXiv (Cornell University)|Sep 19, 2016

Adversarial Robustness in Machine Learning参考文献 13被引用数 16

ひとこと要約

本稿では、残差ブロック内に複数の残差関数を組み込むことで、深層残差ネットワークを強化するマルチリーマンネットワークを提案する。これにより、一般化性能と分類精度が向上し、CIFAR-10でテスト誤差3.92％を達成し、すべての先行モデルを上回る。深層残差ネットワークが設計上指数的アンサンブルとして機能することを示している。

ABSTRACT

In this article, we take one step toward understanding the learning behavior of deep residual networks, and supporting the hypothesis that deep residual networks are exponential ensembles by construction. We examine the effective range of ensembles by introducing multi-residual networks that significantly improve classification accuracy of residual networks. The multi-residual networks increase the number of residual functions in the residual blocks. This is shown to improve the accuracy of the residual network when the network is deeper than a threshold. Based on a series of empirical studies on CIFAR-10 and CIFAR-100 datasets, the proposed multi-residual network yield $6\%$ and $10\%$ improvement with respect to the residual networks with identity mappings. Comparing with other state-of-the-art models, the proposed multi-residual network obtains a test error rate of $3.92\%$ on CIFAR-10 that outperforms all existing models.

研究の動機と目的

• 深層残差ネットワークの学習行動を調査し、それらが設計上指数的アンサンブルとして機能するという仮説を検証すること。
• 特定の深さの閾値を超えた非常に深い残差ネットワークにおける精度の低下問題を解決すること。
• CIFAR-10 や CIFAR-100 といった標準ベンチマークでの分類性能を、アーキテクチャの革新によって向上させること。
• 1ブロックあたりの残差関数を増やすことで、モデルの表現力と一般化性能が向上することを実証的に示すこと。

提案手法

• 1つの残差関数ではなく複数の残差関数を含むように残差ブロックを変更することで、マルチリーマンネットワークを導入すること。
• 複数のスキップ接続と並列な残差パスを持つブロックを設計し、有効なアンサンブルサイズを拡大すること。
• 標準的な最適化プロトコルに従い、CIFAR-10 および CIFAR-100 データセット上でそのアーキテクチャを学習すること。
• アイデンティティマッピングを用いた標準的な残差ネットワークおよび最先端モデルと性能を比較すること。
• より深いネットワークにおけるアンサンブル行動の有効範囲を評価するための実証的分析を実施すること。
• 残差関数の数が深層アーキテクチャにおける一般化および収束に与える影響を分析すること。

実験結果

リサーチクエスチョン

• RQ1 深層残差ネットワークはどの程度指数的アンサンブルとして機能するか。また、アーキテクチャの変更によってその機能を強化できるか。
• RQ2 1ブロックあたりの残差関数を増やすことで、非常に深いネットワークにおける分類精度にどのような影響を与えるか。
• RQ3 マルチリーマンブロックによる性能向上が顕著になる深さの閾値はどこか。
• RQ4 マルチリーマンネットワークは、既存のモデルと比較してCIFAR-10およびCIFAR-100で最先端の性能を達成できるか。
• RQ5 残差ネットワークが設計上指数的アンサンブルであるという仮説を支持する実証的証拠は何か。

主な発見

• 提案されたマルチリーマンネットワークは、CIFAR-10で3.92％のテスト誤差を達成し、すべての既存モデルを上回る。
• CIFAR-100では、アイデンティティマッピングを用いた標準的な残差ネットワークと比較して10％の精度向上を達成した。
• ネットワークの深さが特定の閾値を超えた場合に、精度の向上が顕著に現れ、深さ依存的な利点が示された。
• 向上は、残差関数の数の増加に起因し、有効なアンサンブル容量の向上によるものである。
• 実証的結果は、残差ネットワークが設計上指数的アンサンブルであるという仮説を支持しており、マルチリーマンネットワークはこの挙動を強化している。
• 特に深層アーキテクチャにおいて、モデルの複雑さを著しく増加させることなく、一般化性能が顕著に向上した。