[論文レビュー] Using J-K fold Cross Validation to Reduce Variance When Tuning NLP Models

Henry B. Moss, David S. Leslie+1 more|arXiv (Cornell University)|Jun 19, 2018

Topic Modeling参考文献 31被引用数 18

ひとこと要約

本稿では、自然言語処理（NLP）におけるハイパラメータチューニング時の性能推定の分散を低減するため、J-K-fold交差検証を提案する。低いKと高いJを組み合わせることで、より安定的かつ再現性のあるモデル選択が達成されることを示している。主な貢献は、Jを増やすことでKを低くしてもチューニングの不安定性を補い得ることを示したことである。実験結果により、複数のNLPタスクにおいてハイパラメータ選択の一貫性が顕著に向上することが裏付けられている。

ABSTRACT

K-fold cross validation (CV) is a popular method for estimating the true performance of machine learning models, allowing model selection and parameter tuning. However, the very process of CV requires random partitioning of the data and so our performance estimates are in fact stochastic, with variability that can be substantial for natural language processing tasks. We demonstrate that these unstable estimates cannot be relied upon for effective parameter tuning. The resulting tuned parameters are highly sensitive to how our data is partitioned, meaning that we often select sub-optimal parameter choices and have serious reproducibility issues. Instead, we propose to use the less variable J-K-fold CV, in which J independent K-fold cross validations are used to assess performance. Our main contributions are extending J-K-fold CV from performance estimation to parameter tuning and investigating how to choose J and K. We argue that variability is more important than bias for effective tuning and so advocate lower choices of K than are typically seen in the NLP literature, instead use the saved computation to increase J. To demonstrate the generality of our recommendations we investigate a wide range of case-studies: sentiment classification (both general and target-specific), part-of-speech tagging and document classification.

研究の動機と目的

• NLPモデルのハイパラメータチューニングにおいて、K-fold交差検証の性能推定に生じる高い変動性が、信頼性のあるハイパラメータ選択を損なう問題に対処すること。
• J-K-fold交差検証が、性能推定の内部分散を低減することでハイパラメータチューニングをどのように安定化できるかを調査すること。
• 計算リソースの制約を考慮しつつ、分散を最小化する最適なJとKの値の選択に関する実用的ガイドラインを提供すること。
• 効果的なモデルチューニングにおいて、バイアスではなく分散が主な懸念事項であることを示し、従来のK-fold設定よりも低いKと高いJを推奨すること。
• 単一の分割や高Kの交差検証に依存する現在のNLP実践が、不安定で再現不能かつ非効率なハイパラメータ選択をもたらす程度を明らかにすること。

提案手法

• 標準的なK-fold交差検証の拡張として、J個の独立したK-fold検証を実行してモデル性能を推定するJ-K-fold交差検証を提案する。
• J個の独立したK-fold実行における性能の平均値を用いることで、ハイパラメータ評価の分散を低減する。
• 繰り返しランダムな分割を用いて、IMDBセンチメントデータセット上でLSTMのハイパラメータ（幅とL2正則化）をチューニングする。
• 1,000回のランダムなデータシャッフルにおける選択されたハイパラメータの標準偏差を測定することで、性能の安定性を評価する。
• 1-10-foldや8-5-foldなどの異なるJとKの組み合わせを比較し、分散低減と一貫性の向上を評価する。
• トレーニング中にバリエーションセットを用いた早期停止を適用するが、J-K-foldフレームワーク内ではバリエーションセットをランダム分割プロセスの一部として扱う。

実験結果

リサーチクエスチョン

• RQ1 K-fold交差検証の内部変動性は、NLPモデルのハイパラメータチューニングの安定性にどのように影響するか？
• RQ2 標準的なK-fold交差検証や単一分割検証と比較して、J-K-fold交差検証が性能推定の分散を顕著に低減できるか？
• RQ3 固定された計算リソース制約下で、JとKの最適なトレードオフは何か？
• RQ4 Kの値の選択が、特にKが大きい場合に、選択されたハイパラメータの安定性にどのように影響するか？
• RQ5 単一分割や高Kの交差検証に依存する現在のNLP実践が、非効率的または再現不能なハイパラメータ選択をもたらす程度はどの程度か？

主な発見

• J-K-fold交差検証はハイパラメータ選択の分散を顕著に低減し、8-5-fold交差検証ではLSTM幅（70）と正則化（0.001）の最適選択が最も一貫性を示した。
• 1-10-fold交差検証における精度推定の標準偏差は0.293%から8-5-fold交差検証では0.148%に低下し、性能推定の安定性が著しく向上した。
• 1-10-fold交差検証によるチューニングは極めて不安定な結果を生じ、LSTM幅が30〜90の間でほぼ均等に選択されるなど、明確な最適解が特定できない状態に陥った。
• 選択されたハイパラメータ（例：正則化）の標準偏差はJの増加に伴い低下するが、依然としてパラメータグリッドのギャップを上回っており、J=8であっても分割の影響に敏感であることが示唆された。
• 低いK（例：K=5）と高いJ（例：J=8）の組み合わせが、計算量が同等でも、高いKと低いJの組み合わせよりも、より安定的かつ再現可能なハイパラメータ選択をもたらした。
• 結果から、性能推定のばらつきが実際にモデル間の性能差（例：1%未満の精度向上）を上回る場合があり、分散低減技術を用いないと、真の向上とノイズを区別できないことが明らかになった。