[論文レビュー] A Measure-Theoretic Characterization of Tight Language Models

Li Du, Lucas Torroba Hennigen+4 more|arXiv (Cornell University)|Dec 20, 2022

Natural Language Processing Techniques被引用数 2

ひとこと要約

本稿は、言語モデルにおけるタイトネスを測度論的枠組みで定式化し、Transformerベースのモデルおよび有界活性化関数を備えたRNNが常にタイトであることを証明している。一方、n-gramモデルや有限状態オートマトンモデルは、特定の条件下では非タイトである可能性がある。主な貢献は、測度論とBorel–Cantelli補題を用いたタイトネス基準の一般化であり、確率質量が無限列に漏れ出さないための必要十分条件を確立している。

ABSTRACT

Language modeling, a central task in natural language processing, involves estimating a probability distribution over strings. In most cases, the estimated distribution sums to 1 over all finite strings. However, in some pathological cases, probability mass can ``leak'' onto the set of infinite sequences. In order to characterize the notion of leakage more precisely, this paper offers a measure-theoretic treatment of language modeling. We prove that many popular language model families are in fact tight, meaning that they will not leak in this sense. We also generalize characterizations of tightness proposed in previous works.

研究の動機と目的

• 無限列の空間における言語モデルの確率質量の漏れ出しを測度論を用いて形式化すること。
• 自己回帰的言語モデルがタイト（有限文字列に全確率1を割り当てる）の条件を明確にすること。
• Welleckら（2020年）およびMeisterら（2022年）の先行研究を一般化・強化すること。
• n-gramおよび有限状態オートマトン言語モデルにおけるタイトネスの必要十分条件を確立すること。
• TransformerやRNNといった現代的アーキテクチャの、異なる活性化関数下でのタイトネスを分析すること。

提案手法

• 無限列の非可算空間上での言語モデルを測度論的枠組みで定義し、有限文字列分布とは区別する。
• Σ∗ ∪ Σ∞ に値をとる確率変数を導入する。ここでΣ∗は有限文字列の集合、Σ∞は無限列の集合である。
• Borel–Cantelli補題を適用し、EOS確率のsummabilityに基づくタイトネスの十分条件を導出する。
• 確率的有限状態オートマトンにおける遷移行列の逆行列を用いてタイトネスを特徴づけ、必要十分条件を提供する。
• 深層ネットワークにおけるコンパクト性と連続性の議論を用いる：有界活性化関数と残差接続が隠れ状態のコンパクト性を保つことを示す。
• Proposition 4.3により、TransformerにおけるEOS確率が正の定数 ϵ > 0 で下から有界であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で言語モデルが有限文字列に全確率1を割り当てず、無限列に確率質量を漏らすのか？
• RQ2 測度論とBorel–Cantelli補題を用いて、タイトネスをどのように形式的に特徴づけられるか？
• RQ3 n-gramおよび有限状態オートマトン言語モデルにおいて、遷移行列のどの条件がタイトネスを保証するか？
• RQ4 Transformerベースの言語モデルは常にタイトであるのか？どのような構造的性質がこれを保証するか？
• RQ5 ReLU活性化関数を用いた非タイトなRNN言語モデルを構築可能か？また、隠れ状態ノルムにどのような条件がタイトネスを保証するか？

主な発見

• Transformerベースの言語モデルは、シーケンス長にかかわらず、EOS確率が正の定数 ϵ > 0 で下から有界であるため、常にタイトである。
• RNN言語モデルは、最大埋め込み距離 k と隠れ状態ノルム ∥bht∥2 の積が十分に大きな t に対して log t よりも遅く増加する場合にタイトである。
• n-gramおよび有限状態オートマトン言語モデルは、遷移行列の固有値の逆行列のスペクトル半径が1より大きい場合、非タイトである。これはタイトネスの必要十分条件を提供する。
• 本稿は、Welleckら（2020年）の結果を一般化し、RNNのタイトネスに関するノルムに基づく十分条件が、導出された枠組み下で必要条件でもあることを示した。
• 測度論を用いて無限列を標本空間の一部として形式的に扱うことで、先行研究における曖昧さを解消した。
• 本稿は、TransformerにおけるEOS確率がコンパクト集合上の連続関数であることを証明し、したがって正の下界が保証され、結果としてタイトネスが成立することを示した。