[論文レビュー] The Cost of Training NLP Models: A Concise Overview

Or Sharir, Barak Peleg+1 more|arXiv (Cornell University)|Apr 19, 2020

Topic Modeling参考文献 11被引用数 114

ひとこと要約

この論文は大規模NLPモデルの訓練における推進要因とコストを調査し、全体コストの上昇、主要コストドライバー、そして費用を抑える潜在的な今後の方向性を強調している。

ABSTRACT

We review the cost of training large-scale language models, and the drivers of these costs. The intended audience includes engineers and scientists budgeting their model-training experiments, as well as non-practitioners trying to make sense of the economics of modern-day Natural Language Processing (NLP).

研究の動機と目的

• 大規模NLPモデルの訓練コストの現状と見通しを評価する。
• 訓練コストを押し上げる主要な要因（データ量、モデルサイズ、訓練量）を特定する。
• 隠れたコストと実験の実践的な予算配分の考慮事項を論じる。
• 将来の動向と潜在的なコスト抑制アプローチについての見解を示す。

提案手法

• NLP訓練コストに関する産業界と学術界の報告をレビューし、統合する。
• 異なるパラメータ数のBERT規模モデルの訓練コストの概算レンジを提供する。
• 単一の訓練エピソードを超えるFLOPsと総訓練支出に影響を与える要因を論じる。
• 差を文脈化するためにNLPのコストダイナミクスをコンピュータビジョンと比較する。

実験結果

リサーチクエスチョン

• RQ1 標準的なコーパス上で、さまざまなサイズ（例：110M、340M、1.5Bパラメータ）のNLPモデルを訓練する際の現時点での概算コストはどのくらいか？
• RQ2 訓練コストを主に押し上げる要因は何か（データセットサイズ、モデルサイズ、訓練量）？
• RQ3 ハイパーパラメータ調整や複数回の訓練などの隠れたコストは総費用をどう膨らませるか？
• RQ4 NLP訓練コストの成長を抑える可能性のある今後の動向や戦略は何か？

主な発見

• 訓練コストは、モデルサイズ（110M〜1.5Bパラメータ）に応じて、1回の訓練あたり約$2.5kから$1.6mの範囲になる。
• 大規模プロジェクト（例：11Bパラメータモデル）は1回の訓練で$1.3百万を超えることがあり、複数回の訓練や小規模設定を含めると総プロジェクト費用は約$10百万にもなる可能性がある。
• コストはモデル/データ規模の拡大とともに上昇すると予想されるが、計算価格の低下、より効率的なアーキテクチャ、SOTA競争の抑制、より大きく有用なデータ、構造化知識の統合など、いくつかの要因がこの傾向を緩和する可能性がある。
• 隠れたコストには、ランダム性とハイパーパラメータ探索の管理のためにモデルを複数回訓練することが含まれ、1回の訓練エピソードを超えるコストを増大させる。
• コンピュータビジョンとの差は、NLPがトランスフォーマー系アーキテクチャと大規模なテキストコーパス上での自己教師あり学習により高コストとなることを示唆している。