[論文レビュー] Pitfalls of Static Language Modelling.

Angeliki Lazaridou, Adhiguna Kuncoro+12 more|arXiv (Cornell University)|Feb 3, 2021

Topic Modeling参考文献 77被引用数 27

ひとこと要約

この論文は、静的言語モデルにおける深刻な欠陥を特定している：最先端のTransformerモデルは、学習期間を超えた未来の言語を予測する際、性能が低下する。著者らは、単なるモデルサイズのスケーリングよりも継続的知識更新が、この劣化を顕著に遅らせることが実証されており、動的で非定常な言語環境において、適応型言語モデルの開発と静的評価プロトコルの再考を提唱している。

ABSTRACT

Our world is open-ended, non-stationary and constantly evolving; thus what we talk about and how we talk about it changes over time. This inherent dynamic nature of language comes in stark contrast to the current static language modelling paradigm, which constructs training and evaluation sets from overlapping time periods. Despite recent progress, we demonstrate that state-of-the-art Transformer models perform worse in the realistic setup of predicting future utterances from beyond their training period -- a consistent pattern across three datasets from two domains. We find that, while increasing model size alone -- a key driver behind recent progress -- does not provide a solution for the temporal generalization problem, having models that continually update their knowledge with new information can indeed slow down the degradation over time. Hence, given the compilation of ever-larger language modelling training datasets, combined with the growing list of language-model-based NLP applications that require up-to-date knowledge about the world, we argue that now is the right time to rethink our static language modelling evaluation protocol, and develop adaptive language models that can remain up-to-date with respect to our ever-changing and non-stationary world.

研究の動機と目的

• 訓練期間を超えた言語を予測する静的言語モデルの性能を調査すること。
• モデルサイズの増大が、動的言語環境における時間的一般化問題を解決しない理由を特定すること。
• 継続的知識更新が長期的な言語モデル性能に与える影響を評価すること。
• 現実世界の非定常性を鑑み、静的言語モデリングの評価プロトコルを根本的に再考する必要性を主張すること。
• 最新の世界知識を維持できる適応型言語モデルの開発を提唱すること。

提案手法

• 研究では、2つのドメインにまたがる3つの多様なデータセットを用いて、最先端のTransformerモデルを評価した。訓練データと評価データは重複しない時間期間を用い、将来的な予測を模擬した。
• 訓練データから離れた複数の時間間隔において性能を測定し、時間経過に伴う劣化を評価した。
• 固定重み（静的）モデルと、新しいデータで段階的に更新可能なモデルを比較し、継続的学習の影響を評価した。
• モデルサイズのスケーリングを、時間的一般化の文脈で解決策として評価したが、その有効性を検証した。
• 評価プロトコルは、将来的に未確認の言語に一般化できる必要がある現実世界の展開を反映するように設計された。
• 分析は、訓練中に見なかった将来的な時間期間のデータに対するゼロショット時間的一般化に焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 最先端の静的言語モデルは、訓練データの期間を超えた時間の言語を予測する際、どのように性能を示すか？
• RQ2 モデルサイズを増大させることだけでは、静的言語モデルにおける時間的一般化を改善できるか？
• RQ3 継続的知識更新は、時間経過に伴う言語モデルの性能劣化を緩和できるか？
• RQ4 静的評価プロトコルは、動的で非定常な言語環境における現実世界の展開条件をどの程度反映していないか？
• RQ5 静的言語モデリングが、最新の世界知識を必要とするNLPアプリケーションに与える影響は何か？

主な発見

• 最先端のTransformerモデルは、訓練データの期間を超えた時間の言語を予測する際、一貫した性能劣化を示す。
• モデルサイズの増大だけでは、時間的一般化の問題を解決できないことが示され、スケーリングだけでは長期的頑健性を確保できないことが判明した。
• 新しい情報で継続的に更新されるモデルは、静的モデルと比較して、劣化が著しく遅れる。
• 訓練期間と評価期間が重複する静的評価パラダイムは、動的言語設定における現実世界の性能劣化を捉えていない。
• 研究結果は、進化する言語環境においてモデル性能を維持するため、継続的学習メカニズムが不可欠であることを示唆している。
• 最新の世界知識を必要とするNLPアプリケーションを支援するため、静的から適応型言語モデリングフレームワークへの移行が急務である。