[論文レビュー] Checkpoint Ensembles: Ensemble Methods from a Single Training Process

Hugh Chen, Scott Lundberg+1 more|arXiv (Cornell University)|Oct 9, 2017

Machine Learning in Healthcare参考文献 7被引用数 35

ひとこと要約

この論文では、1つの学習プロセス内で、検証スコアに基づいて選択された複数の保存済みモデルチェックポイントの予測を平均化することで、深層学習モデルの性能を向上させるチェックポイントアンサンブル手法を提案する。この手法は、従来のアンサンブルと同等の性能向上を達成しつつ、著しく少ない学習オーバーヘッドで実現でき、テキスト、画像、EHRデータのあらゆる分野で最小検証スコア選択法や他の単一プロセス平均化手法を上回る性能を示した。

ABSTRACT

We present the checkpoint ensembles method that can learn ensemble models on a single training process. Although checkpoint ensembles can be applied to any parametric iterative learning technique, here we focus on neural networks. Neural networks' composable and simple neurons make it possible to capture many individual and interaction effects among features. However, small sample sizes and sampling noise may result in patterns in the training data that are not representative of the true relationship between the features and the outcome. As a solution, regularization during training is often used (e.g. dropout). However, regularization is no panacea -- it does not perfectly address overfitting. Even with methods like dropout, two methodologies are commonly used in practice. First is to utilize a validation set independent to the training set as a way to decide when to stop training. Second is to use ensemble methods to further reduce overfitting and take advantage of local optima (i.e. averaging over the predictions of several models). In this paper, we explore checkpoint ensembles -- a simple technique that combines these two ideas in one training process. Checkpoint ensembles improve performance by averaging the predictions from "checkpoints" of the best models within single training process. We use three real-world data sets -- text, image, and electronic health record data -- using three prediction models: a vanilla neural network, a convolutional neural network, and a long short term memory network to show that checkpoint ensembles outperform existing methods: a method that selects a model by minimum validation score, and two methods that average models by weights. Our results also show that checkpoint ensembles capture a portion of the performance gains that traditional ensembles provide.

研究の動機と目的

• 複数の独立したモデルを学習する計算コストを伴わずに、深層学習における過学習と一般化の問題を軽減すること。
• 1つの学習プロセスにおいて、戦略的なモデルチェックポイント選択によってアンサンブルに類似した性能向上を達成できるかを検討すること。
• 予測精度と効率性の観点から、チェックポイントアンサンブルを最小検証スコア選択法や他の単一プロセス平均化手法と比較すること。
• 多様なアーキテクチャ（MLP、CNN、LSTM）と実世界のデータセット（テキスト、画像、EHR）を対象に、本手法の評価を行うこと。

提案手法

• 学習中に各エポックでモデルのチェックポイントを保存し、学習済み重みの完全なセットを保持する。
• 全学習プロセス中に得られた検証スコア（例：最小損失または最高精度）に基づいて上位k個のモデルを選択する。
• 推論時において、上位k個の選択済みチェックポイントの予測を平均化し、最終出力を得る。
• 検証セットを用いてチェックポイント選択をガイドし、一般化性能が優れたモデルを優先する。
• ベースライン手法（最小検証：MV、最後のk個平均化：LKS、チェックポイント平均化：CS）と比較し、予測の重みなし平均化を用いる。
• 3つの実世界のデータセット上で、全結合ネットワーク、畳み込みニューラルネットワーク、長短期記憶ネットワークに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 複数の独立したモデルを学習せずに、1つの学習プロセスで従来のアンサンブルと同等の性能向上を達成できるか？
• RQ2 チェックポイントアンサンブルは、最小検証スコア選択法と比較して、予測精度と一般化性能においてどのように異なるか？
• RQ3 チェックポイントアンサンブルによる性能向上は、異なるニューラルネットワークアーキテクチャやデータセットによって変化するか？
• RQ4 チェックポイントアンサンブルによる改善は、ベースライン手法およびブートストラップ標準誤差と比較して統計的に有意であるか？
• RQ5 チェックポイントアンサンブルは、データが少ないまたはノイズが多い環境でも過学習を効果的に低減し、モデルの頑健性を向上させられるか？

主な発見

• チェックポイントアンサンブルは、すべてのデータセットとアーキテクチャで最小検証スコア選択法を顕著に上回り、Reutersデータセットでは平均AUC向上が0.0062、EHR低炭酸ガス予測タスクでは0.0060であった。
• 低酸素血症予測のORデータでは、学習率0.0005で最小検証スコア選択法に対してAUC向上が0.0062であり、向上幅の標準偏差はわずか0.0004であった。
• 低炭酸ガス予測タスクでは、学習率0.005で最小検証スコア選択法に対してAUC向上が0.0127であり、向上幅の標準偏差は0.0006であった。これは統計的有意性を示している。
• 本手法は、全結合ネットワーク、CNN、LSTMネットワークのすべてのテストモデルで一貫した性能向上を達成し、広範な適用可能性を示した。
• EHR低酸素血症予測タスクにおいて、チェックポイントアンサンブルは、最先端のXGBoostモデルをも上回る性能を達成し、優れた一般化能力を示した。
• チェックポイントアンサンブルの最適性能は、最小検証スコア選択法よりも早く達成されたため、正確性を損なわず、学習時間を短縮可能であることが示唆された。