[論文レビュー] Intra-Ensemble in Neural Networks

Yuan Gao, Zixiang Cai+1 more|arXiv (Cornell University)|Apr 9, 2019

Advanced Neural Network Applications参考文献 52被引用数 4

ひとこと要約

本論文では、確率的チャネル再結合とスイッチ可能なバッチ正規化を用いて、1つのモデル内で複数の多様なサブネットワークを同時に学習するエンドツーエンドのニューラルネットワークアーキテクチャであるIntra-Ensemble (IENet)を提案する。多くのパラメータを共有するとともに、制御されたチャネル多様性を導入することで、パラメータ増加を最小限に抑えつつ、単体ネットワークを著しく上回る性能を達成し、CIFAR-10およびCIFAR-100で最先端のモデルを上回る結果を得た。パラメータ数はわずか2.78Mであった。

ABSTRACT

Improving model performance is always the key problem in machine learning including deep learning. However, stand-alone neural networks always suffer from marginal effect when stacking more layers. At the same time, ensemble is an useful technique to further enhance model performance. Nevertheless, training several independent deep neural networks for ensemble costs multiple resources. If so, is it possible to utilize ensemble in only one neural network? In this work, we propose Intra-Ensemble, an end-to-end ensemble strategy with stochastic channel recombination operations to train several sub-networks simultaneously within one neural network. Additional parameter size is marginal since the majority of parameters are mutually shared. Meanwhile, stochastic channel recombination significantly increases the diversity of sub-networks, which finally enhances ensemble performance. Extensive experiments and ablation studies prove the applicability of intra-ensemble on various kinds of datasets and network architectures.

研究の動機と目的

• 従来のディープラーニングアンサンブルの高い計算コストおよびパラメータコストを低減するため、1つのニューラルネットワーク内でアンサンブル学習を可能とすること。
• 過パラメータ化されたネットワークにおけるパラメータの冗長性を活用することで、モデルサイズの増加なしにモデル性能を向上させること。
• 共有アーキテクチャ内でのサブネットワーク間の多様性を高め、アンサンブルの汎化性能およびロバストネスを向上させること。
• 各サブネットワークの予測同士の相関を低く保ちつつ、高い精度を維持する訓練戦略を確立すること。
• さまざまなアーキテクチャおよびデータセット、特に複雑性が増す画像分類タスクにまで一般化可能な手法を示すこと。

提案手法

• IENetは、スイッチ可能なバッチ正規化（S-BN）を用い、1つのネットワーク内で異なる幅（チャネル数比）の複数のサブネットワークを同時に学習可能にしている。各サブネットワークは異なるチャネル比を使用する。
• サブネットワーク間の多様性を高めるために、訓練中にチャネルをランダムに再割り当てする「確率的チャネル再結合」（RC）を導入した。
• サブネットワークはバックボーンの重みを共有しながらエンドツーエンドに学習され、S-BNレイヤーは各幅ごとに独立した統計を維持することで、学習の安定性と性能を保っている。
• 推論時には、サブネットワークの予測をスタッキングまたは平均化して最終的なアンサンブル出力を得ており、実験ではスタッキングが優れた結果を示した。
• 本手法は、DenseNet風・ResNet風などの複数のアーキテクチャおよびCIFAR-10、CIFAR-100など、他のデータセットに対しても、最小限のハイパーパrameterチューニングで適用可能である。
• サブネットワーク間の相関を定量化するための類似度指標（S）を用いて評価し、類似度が低いほどアンサンブル性能が向上することを示した。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルネットワークが、顕著なパラメータオーバーヘッドなしに、複数の多様なサブネットワークを効果的に統合し、アンサンブル性能を達成できるか。
• RQ2 確率的チャネル再結合（RC）は、ランダムカットやランダムオーダーなどの他のチャネル選択戦略に比べて、サブネットワークの多様性とアンサンブル精度の向上にどのように寄与するか。
• RQ3 CIFAR-10よりも複雑なタスク（例：CIFAR-100）では、イントラアンサンブル性能がより顕著に向上するか。
• RQ4 サブネットワークの精度と類似度のトレードオフが、最終的なアンサンブル性能に及ぼす影響の程度はどの程度か。
• RQ5 アーキテクチャの変更なしに、異なるネットワークアーキテクチャおよびデータセットに、イントラアンサンブル戦略を一般化できるか。

主な発見

• 4つのサブネットワークを有するIENetに確率的チャネル再結合（RC）を適用した場合、CIFAR-100で2.61%のテスト誤差を達成し、2.82Mパラメータで16.04%誤差を示す単体モデルを上回った。
• CIFAR-10では、4サブネットワークIENetにRCを適用した結果、2.61%の誤差を記録し、同程度のパラメータ数（2.66M）を持つ単体モデル（2.66%誤差）に対して1.64%の改善を達成した。
• イントラアンサンブル手法により、サブネットワーク間の類似度（S）は0.857から0.653に低下したが、同時に精度が向上した。これは、相関が低いほどアンサンブル性能が向上することを示している。
• CIFAR-100では、5サブネットワークIENetが16.04%の誤差率を達成し、単体ベースラインより2.62%の改善を示した。これは、高クラス数タスクにおける複雑なタスクに対して、より大きな潜在的向上幅を示している。
• 画像サイズやクラス数が異なるデータセットに対しても、本手法は一般化がうまくいき、単純なタスクおよび複雑なタスクの両方で一貫した性能向上を示した。
• 確率的チャネル再結合（RC）は、類似度が低いにもかかわらず、サブネットワークの精度保持が優れており、ランダムオーダー（RO）や逐次カット（SC）を上回る性能を発揮した。