[論文レビュー] Why M Heads are Better than One: Training a Diverse Ensemble of Deep Networks

Stefan Lee, Senthil Purushwalkam+3 more|arXiv (Cornell University)|Nov 19, 2015

Domain Adaptation and Few-Shot Learning被引用数 203

ひとこと要約

本稿では、共通の初期層と専用の深層層を持つ TreeNets — および集合に配慮した損失関数 — を導入することで、多様で高性能な深層ニューラルネットワークアンサンブルを統一的に訓練するフレームワークを提案する。複数選択学習（MCL）損失を用いた学習と TreeNets におけるパラメータ共有により、ILSVRC-AlexNet において最高で 74.67% のオракル精度を達成し、標準的なアンサンブルを上回ることを示している。

ABSTRACT

Convolutional Neural Networks have achieved state-of-the-art performance on a wide range of tasks. Most benchmarks are led by ensembles of these powerful learners, but ensembling is typically treated as a post-hoc procedure implemented by averaging independently trained models with model variation induced by bagging or random initialization. In this paper, we rigorously treat ensembling as a first-class problem to explicitly address the question: what are the best strategies to create an ensemble? We first compare a large number of ensembling strategies, and then propose and evaluate novel strategies, such as parameter sharing (through a new family of models we call TreeNets) as well as training under ensemble-aware and diversity-encouraging losses. We demonstrate that TreeNets can improve ensemble performance and that diverse ensembles can be trained end-to-end under a unified loss, achieving significantly higher "oracle" accuracies than classical ensembles.

研究の動機と目的

• 深層ニューラルネットワークアンサンブルを後処理的手法ではなく、最初から最適化の対象とすること。
• パラメータ共有、アンサンブルに配慮した損失関数、多様性を促進する訓練戦略がアンサンブル性能に与える影響を調査すること。
• GPUメモリ制限や学習時間の制限を克服する、結合アンサンブルのスケーラブルな分散学習フレームワークを構築すること。
• 複数のデータセットとアーキテクチャにおいて、深層ネットワークアンサンブルにおける多様性の有効性を評価すること。
• 最適なアンサンブルは従来の独立モデルではなく、TreeNets のような構造的・共有アーキテクチャであることを示すこと。

提案手法

• アンサンブルメンバー間で初期層を共有し、パラメータ共有の深さを制御可能な木構造の深層ネットワークである TreeNets を提案する。
• アンサンブル平均の損失を最小化することで、集団的性能を促進するアンサンブルに配慮した損失関数を導入する。
• 複数選択学習（MCL）損失を提案し、アンサンブルメンバーを異なる予測サブセットのエキスパートとみなすことで、メンバー間の多様性を明示的に促進する。
• バッチ間での勾配蓄積を用いて、MCL 損失下でより大きなネットワークが特化できるようにする。
• MPI を用いた GPU 間通信を実現する MPI-Caffe と呼ばれる分散ディープラーニングフレームワークを設計・実装し、結合アンサンブルのモデル並列学習を可能にする。
• Caffe に通信レイヤー（MPIBroadcast と MPIGather）を組み込み、共有または結合されたコンponents を持つアンサンブルの分散学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 初期層でのパラメータ共有が、モデルパラメータを削減しつつアンサンブル性能を向上させることができるか？
• RQ2 アンサンブル平均を最適化するアンサンブルに配慮した損失関数を用いた学習は、独立学習と比較して一般化性能を向上させるか？
• RQ3 MCL のような多様性を促進する損失関数は、深層ネットワークアンサンブルのオラクル精度を顕著に向上させることができるか？
• RQ4 深層アンサンブルアーキテクチャにおいて、パラメータ共有とモデル独立性の最適なトレードオフは何か？
• RQ5 MPI-Caffe のような分散学習フレームワークは、大規模で結合されたアンサンブル学習を実用的かつ効率的に行えるか？

主な発見

• 1〜2層の初期層を共有する TreeNets は、従来の独立アンサンブルよりも高い性能を示し、中程度の共有レベルで最適性能が達成される。
• MCL 損失を用いた学習では、単一ネットワークから微調整した場合、オラクル精度が 72.67% に上昇するが、同一初期アンサンブルでは 56.90% にとどまる。
• MCL 損失をクロスエントロピー損失と組み合わせた場合、CIFAR10 のアンサンブル平均精度が標準アンサンブルより 1% 向上する。
• MCL 損失で学習したアンサンブルは、従来のアンサンブルと比較して顕著に高いオラクル精度を達成し、明示的な多様性誘導の価値を示している。
• MPI-Caffe フレームワークにおける通信オーバーヘッドは最小限で、最大 36M フロートを含む large layer（pool2）ですら、前向き・逆伝搬時間の 0.49% のみが通信に費やされる。
• 本研究では、多様性が高レベル表現で最も効果的であることが示され、一方で初期層は汎用的特徴学習のため重み共有が有効であることが明らかになった。