[論文レビュー] Deeply-Fused Nets

Jingdong Wang, Zhen Wei+2 more|arXiv (Cornell University)|May 25, 2016

Advanced Neural Network Applications参考文献 32被引用数 63

ひとこと要約

本論文では、特に深層ネットワークと浅層ネットワークの両方を含む複数のベースネットワークからの中間表現を複数の層で統合する、深く融合されたネットワーク（deeply-fused nets）と呼ばれる新しい深層学習アーキテクチャを提案する。深層融合を可能にすることで、特徴量学習が向上し、情報の流れが改善され、有効なネットワークの深さが低減され、ResNet や Highway ネットワークを上回る優れた性能が得られるとともに、最先端のモデルと同等の結果を達成する。

ABSTRACT

In this paper, we present a novel deep learning approach, deeply-fused nets. The central idea of our approach is deep fusion, i.e., combine the intermediate representations of base networks, where the fused output serves as the input of the remaining part of each base network, and perform such combinations deeply over several intermediate representations. The resulting deeply fused net enjoys several benefits. First, it is able to learn multi-scale representations as it enjoys the benefits of more base networks, which could form the same fused network, other than the initial group of base networks. Second, in our suggested fused net formed by one deep and one shallow base networks, the flows of the information from the earlier intermediate layer of the deep base network to the output and from the input to the later intermediate layer of the deep base network are both improved. Last, the deep and shallow base networks are jointly learnt and can benefit from each other. More interestingly, the essential depth of a fused net composed from a deep base network and a shallow base network is reduced because the fused net could be composed from a less deep base network, and thus training the fused net is less difficult than training the initial deep base network. Empirical results demonstrate that our approach achieves superior performance over two closely-related methods, ResNet and Highway, and competitive performance compared to the state-of-the-arts.

研究の動機と目的

• 深層ニューラルネットワークにおける有効なマルチスケール表現の学習という課題に対処すること。
• 複数の中間層で浅層および深層ベースネットワークからの特徴量を統合することで、深層アーキテクチャ内の情報の流れを改善すること。
• 浅層および深層ベースネットワークの相補的な強みを活用することで、最終ネットワークの有効な深さを低減すること。
• ベースネットワークを共同で訓練することで、最適化の過程で互いに恩恵を受けるようにすること。
• ResNet や Highway ネットワークといった既存手法を上回る性能を達成するとともに、学習の難易度を低減すること。

提案手法

• 本手法は、深層ベースネットワークと浅層ベースネットワークの複数の層における中間特徴マップを統合することで、深層融合を実現する。
• 統合された表現は、各ベースネットワークの残りの部分への入力として供給され、統合アーキテクチャ全体のエンドツーエンド学習を可能にする。
• 複数の中間層で統合が行われるため、階層的かつマルチスケールの表現を学習可能となる。
• 深層および浅層ネットワークは共同で訓練され、共有された表現を通じて相互に改善が図られる。
• アーキテクチャは最終ネットワークの有効な深さを低減しており、単独の深層ベースネットワークを学習するのと比べて、より効率的な学習が可能となる。
• 本アプローチは汎用性が高く、同じ統合ネットワークを、さらなる統合のための新しいベースネットワークとして再利用可能である。

実験結果

リサーチクエスチョン

• RQ1 深層および浅層ベースネットワークからの中間表現を統合することで、特徴量学習およびモデル性能が向上するか？
• RQ2 深層融合は、深層ニューラルネットワーク内の情報の流れにどのように影響するか？
• RQ3 浅層および深層ネットワークの共同訓練は、より良い一般化性能と学習の難易度低減をもたらすか？
• RQ4 元の深層ベースネットワークよりも浅い深さの統合ネットワークを構築できるか、かつ性能を維持または向上できるか？
• RQ5 本手法は、ResNet や Highway ネットワークといった確立されたアーキテクチャと比較して、正確性および学習効率の面でどのように異なるか？

主な発見

• 深く融合されたネットワークは、ベンチマークタスクにおいて、ResNet や Highway ネットワークを上回る優れた性能を達成した。
• 本手法により、深層ベースネットワークの初期層からの情報の流れが最終出力へと改善されるとともに、入力から深層ネットワークの後段の層への情報の流れも向上した。
• 深層および浅層ネットワークの共同訓練により、相互に恩恵が生じ、全体の特徴表現が向上した。
• 統合ネットワークの有効な深さが低減され、元の深層ベースネットワークを学習するのと比べて、より容易に学習可能となった。
• 複数の統合ポイントで複数のベースネットワークを組み合わせることで、マルチスケール表現学習が可能となった。
• 実験的結果により、最先端のモデルと同等の性能が得られ、深層融合の有効性が裏付けられた。