[論文レビュー] Neural Ensemble Search for Performant and Calibrated Predictions.

Sheheryar Zaidi, Arber Zela+4 more|arXiv (Cornell University)|Jun 15, 2020

Neural Networks and Applications被引用数 24

ひとこと要約

本稿では、固定アーキテクチャのネットワークをアンサンブルするのではなく、多様なアーキテクチャを探索することで、アンサンブル性能を直接最適化するニューラルアーキテクチャ探索（NAS）フレームワークを提案する。複数の異なるニューラルアーキテクチャを同時に探索・統合することで、標準的なアンサンブルと比較して、より高い精度、分布シフト下でのロバストネス、および改善された不確実性キャリブレーションを達成する。

ABSTRACT

Ensembles of neural networks achieve superior performance compared to stand-alone networks not only in terms of accuracy on in-distribution data but also on data with distributional shift alongside improved uncertainty calibration. Diversity among networks in an ensemble is believed to be key for building strong ensembles, but typical approaches only ensemble different weight vectors of a fixed architecture. Instead, we investigate neural architecture search (NAS) for explicitly constructing ensembles to exploit diversity among networks of varying architectures and to achieve robustness against distributional shift. By directly optimizing ensemble performance, our methods implicitly encourage diversity among networks, without the need to explicitly define diversity. We find that the resulting ensembles are more diverse compared to ensembles composed of a fixed architecture and are therefore also more powerful. We show significant improvements in ensemble performance on image classification tasks both for in-distribution data and during distributional shift with better uncertainty calibration.

研究の動機と目的

• 固定アーキテクチャに依存し、明示的な多様性が欠如する標準的なニューラルネットワークアンサンブルの限界を解消すること。
• 分布シフト下でのモデルのロバストネスと不確実性キャリブレーションを向上させること。
• NASが多様性を暗黙的に促進し、アンサンブル性能を向上させることを検証すること。
• 明示的な多様性正則化を必要とせず、アンサンブルレベルの性能を直接最適化する手法を開発すること。

提案手法

• 本手法は、アンサンブル性能を全体として最大化するように、多様なニューラルネットワークアーキテクチャの集合を特定するためのニューラルアーキテクチャ探索（NAS）を実行する。
• アーキテクチャを固定して重みのみを変化させるのではなく、構造的多様性を含めるためにアーキテクチャ空間全体を探索するアプローチを採用する。
• NASの過程でアンサンブル性能を直接最適化することで、構成ネットワーク同士の多様性を暗黙的に促進する。
• 検索プロセスでは、検証データ上の集団的予測性能とキャリブレーションに基づいて、アーキテクチャを評価・選択する。
• 最終的なアンサンブルは、複数の異なるアーキテクチャからの予測を統合し、それらの相補的な強みを活用する。

実験結果

リサーチクエスチョン

• RQ1 NASを用いて、固定アーキテクチャアンサンブルよりも優れた性能を達成するアンサンブルを構築できるか？
• RQ2 アンサンブル性能を直接最適化することで、構成ネットワーク間の多様性が高まるか？
• RQ3 本手法のアンサンブルは、標準的なアンサンブルと比較して、分布シフト下でどのように性能を発揮するか？
• RQ4 この手法は、不確実性キャリブレーションをどの程度向上させるか？

主な発見

• 提案手法のアンサンブルは、分布内および分布外の両設定において、画像分類タスクで顕著な精度向上を達成した。
• NASを用いて構築されたアンサンブルは、固定アーキテクチャネットワークの標準的アンサンブルと比較して、より高い多様性を示した。
• 特に分布シフト下において、より優れた不確実性キャリブレーションを示した。
• 性能向上の要因は、アーキテクチャとアンサンブルの共同最適化によって誘発される暗黙の多様性に起因するとされた。