[論文レビュー] On the Importance of Strong Baselines in Bayesian Deep Learning

Jishnu Mukhoti, Pontus Stenetorp+1 more|arXiv (Cornell University)|Nov 23, 2018

Gaussian Processes and Bayesian Inference参考文献 9被引用数 27

ひとこと要約

この論文は、ベイジアンディープラーニングにおける広く使われているベースラインであるモンテカルロドロップアウトが、同じ訓練条件で評価された場合、最先端の手法を上回るか、同等の性能を発揮することを示している。著者らは、過去のベンチマーク手法における根本的な欠陥を暴露した—収束まで訓練されたモデルと40エポックのみで訓練されたベースラインとを比較している点であり、強いベースラインが、いくつかの最近の研究における優位性主張を無効にしていることを示している。

ABSTRACT

Like all sub-fields of machine learning Bayesian Deep Learning is driven by empirical validation of its theoretical proposals. Given the many aspects of an experiment it is always possible that minor or even major experimental flaws can slip by both authors and reviewers. One of the most popular experiments used to evaluate approximate inference techniques is the regression experiment on UCI datasets. However, in this experiment, models which have been trained to convergence have often been compared with baselines trained only for a fixed number of iterations. We find that a well-established baseline, Monte Carlo dropout, when evaluated under the same experimental settings shows significant improvements. In fact, the baseline outperforms or performs competitively with methods that claimed to be superior to the very same baseline method when they were introduced. Hence, by exposing this flaw in experimental procedure, we highlight the importance of using identical experimental setups to evaluate, compare, and benchmark methods in Bayesian Deep Learning.

研究の動機と目的

• ベイジアンディープラーニング手法の評価に与える不一致な実験設定の影響を調査すること。
• ベンチマークにおける共通の欠陥を特定・是正すること：収束まで訓練されたモデルと40エポックのみで訓練されたベースラインとを比較すること。
• 同じ条件下で評価された場合、標準的なベースラインである最適化済みモンテカルロドロップアウトが、発表されたSOTA手法と同等またはそれ以上の性能を示すことを実証すること。
• ベイジアンディープラーニング研究における妥当な比較と信頼できる改善主張を保証するため、厳密で一貫性のある実験設定の推進を提唱すること。

提案手法

• 最近のSOTA手法と同一の実験プロトコル（収束まで訓練）を用いて、UCIデータセットにおける回帰実験を再評価した。
• 比較対象の手法と同一のハイパーパrameterと訓練期間を用いて、モンテカルロドロップアウトモデルを訓練した。
• 標準的な評価指標（テストセットにおけるRMSEと予測対数尤度）を用いた。
• VMG、HS-BNN、PBP-MV、SGHMCなどのベースラインモデルを収束設定で再実装・再訓練し、公平な比較を実現した。
• 全データセットにおいてモンテカルロドロップアウトのハイパーパrameterを最適化するためのチューニングを実施した。
• 元の論文で発表された数値と直接比較することで、訓練期間と設定の違いがもたらす影響を隔離した。

実験結果

リサーチクエスチョン

• RQ1 収束まで訓練されたモンテカルロドロップアウトの性能は、固定エポック数での訓練と比べて顕著に向上するか？
• RQ2 同じ実験条件下で評価された場合、ベイジアンディープラーニング手法の性能順位はどのように変化するか？
• RQ3 過去のSOTA性能主張の多くが、未熟練のベースラインと比較した不公平な比較に依存している程度はどの程度か？
• RQ4 同じ条件下で訓練された場合、MCドロップアウトのような標準ベースラインが、より複雑な手法を上回る可能性はあるか？
• RQ5 不一致な訓練プロトコルが、ベイジアンディープラーニング研究における実証的主張の妥当性に与える影響は何か？

主な発見

• モンテカルロドロップアウトは、収束まで訓練された場合、複数のUCI回帰データセットで最先端またはほぼ最先端の性能を達成した。
• ボストン・ハウジング、コンクリート強度、ワイン品質レッドの各データセットでは、MCドロップアウトがVMG、HS-BNN、SGHMCを上回る最高の対数尤度スコアを達成した。
• RMSEの観点からも、コンクリート強度、ナウバルプロペラッションプラント、ワイン品質レッド、イェイト・ハイドロダイナミクスの各データセットで、MCドロップアウトがVMG、HS-BNN、SGHMCを上回った。
• エネルギー効率性およびKin8nmデータセットでは、MCドロップアウトが最高または2番目の性能を達成し、ハイパーパramータチューニング済みバージョンでは最低のRMSEを記録した。
• ナウバルプロペラッションプラントデータセットでは、MCドロップアウトがほぼ完璧な性能（RMSE ≈ 0.00）を達成し、他のすべての手法を上回った。
• これらの結果から、VMG、HS-BNN、SGHMCなどの手法の優位性に関する過去の主張は、未熟練のベースラインと比較した不公平な比較に起因しており、無効であることが示された。