[論文レビュー] Assessing Language Models with Scaling Properties

Shuntaro Takahashi, Kumiko Tanaka‐Ishii|arXiv (Cornell University)|Apr 24, 2018

Topic Modeling参考文献 33被引用数 5

ひとこと要約

本稿では、言語モデルの評価を、パーキュリティ（perplexity）を超えて、自然言語のスケーリング特性——特に語彙分布と長距離記憶——を用いることを提案する。n-gram、PCFG、シモンおよびピットマン＝ヨア過程、階層的PY過程、ニューラルモデルを、Wikitext-2およびPTBデータセット上で評価した結果、唯一ニューラルモデル（特にAWD-LSTM-Cache）がテイラーの法則や長距離相関といった重要なスケーリング行動を再現し、自然言語に近い指数を示した。これは、長期間の依存関係を捉える能力に優れていることを示唆しているが、完全な再現には至らないという限界も伴う。

ABSTRACT

Language models have primarily been evaluated with perplexity. While perplexity quantifies the most comprehensible prediction performance, it does not provide qualitative information on the success or failure of models. Another approach for evaluating language models is thus proposed, using the scaling properties of natural language. Five such tests are considered, with the first two accounting for the vocabulary population and the other three for the long memory of natural language. The following models were evaluated with these tests: n-grams, probabilistic context-free grammar (PCFG), Simon and Pitman-Yor (PY) processes, hierarchical PY, and neural language models. Only the neural language models exhibit the long memory properties of natural language, but to a limited degree. The effectiveness of every test of these models is also discussed.

研究の動機と目的

• パーキュリティが一般化、文法、長期間依存関係の質的欠陥を明らかにできないという限界を是正するため。
• 自然言語の統計的構造にどの程度近いかを定量化する補完的評価フレームワークとして、スケーリング特性を導入するため。
• 長距離記憶や語彙ダイナミクスを捉える能力において、どのスケーリング特性がモデルの質を区別するのに最も効果的かを特定するため。
• n-gram、確率的文法、ニューラルネットワークを含む多様な言語モデルが、Wikitext-2 や PTB といった実世界のデータセット上でどのように性能を発揮するかを評価するため。
• 現在のモデルが自然言語の統計的豊かさを完全に再現できないギャップを特定することで、将来のモデル開発を支援するため。

提案手法

• 5つのスケーリング特性を用いる：語彙集積にはジプの法則とヒープスの法則、長距離記憶にはエベリングの手法、テイラーの法則、長距離相関。
• 各言語モデルからテキストを生成し、生成された系列が自然言語と同様のスケーリング指数を示すかを評価する。
• 実データ（例：頻度対ランク、語彙成長、相関の減衰）に対するべき乗則の最小二乗フィッティングにより、スケーリング指数を推定する。
• 生成された指数をオリジナルデータセット（例：Wikitext-2、PTB）の指数と比較し、乖離度とモデルの忠実度を定量化する。
• 二段階評価を採用：Q1はスケーリングの定性的な存在（べき乗則が成立するか）を確認し、Q2は指数の類似度を定量的に評価する。
• AWD-LSTM-Cache モデルを最先端性能のベンチマークとして用い、他のモデルと比較する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワーク以外の言語モデルも、特に長距離記憶に関して自然言語のスケーリング特性を再現するのか？
• RQ2 ニューラル言語モデルは、語彙成長と長距離相関の点で、自然言語のスケーリング指数をどの程度正確に再現するのか？
• RQ3 ジプの法則、ヒープスの法則、エベリングの手法、テイラーの法則、長距離相関のうち、どのスケーリング特性がモデルの質を評価するのに最も効果的か？
• RQ4 データセットの選択（例：Wikitext-2 と PTB）が、言語モデルの長距離記憶評価に顕著な影響を及えるのか？
• RQ5 スケーリング特性は、パーキュリティでは検出できないモデル行動の限界を明らかにできるのか？

主な発見

• 自然言語のスケーリング特性をすべて再現できたのは、ニューラル言語モデル、特にAWD-LSTM-Cacheに限られ、特に長距離相関とテイラーの法則において顕著だった。
• AWD-LSTM-CacheモデルはWikitext-2でテイラー指数0.59を達成し、オリジナルテキストの0.62に近く、長記憶構造の強力なが、完全ではない再現を示した。
• パーキュリティの向上にもかかわらず、MoS（Mixture of Softmax）バージョンは長記憶品質が低下し、テイラー指数も低くなった。これは、パーキュリティと記憶忠実度のトレードオフを示している。
• シモンモデルは強い長距離相関を示したが、語彙スケーリングを再現できず、自然言語構造とは根本的に不一致であった。
• ニューラルモデルはPTBデータセットでは長記憶を再現できなかったが、PTBは弱いが依然として存在する長距離相関を示しており、長期間依存性の評価には不適切である可能性を示唆した。
• テイラーの法則は、モデルの質を評価するうえで最も信頼性が高く情報量が多く、指数類似度とモデルの質の間に強い相関が見られた。特に高度なニューラルモデルにおいて顕著だった。