[論文レビュー] Beyond the Chinese Restaurant and Pitman-Yor processes: Statistical Models with Double Power-law Behavior

Fadhel Ayed, Juho Lee+1 more|arXiv (Cornell University)|Feb 13, 2019

Bayesian Methods and Mixture Models参考文献 46被引用数 8

ひとこと要約

本稿では、順位付けられた周頻度における二重パワーローの挙動を示す、完全にランダムな測度の新クラス—二重正則変動性CRMs—を導入する。ピットマン＝ヨアプロセスとは異なり、単一のパワーロー領域を示すのではなく、低周波数アイテムではパrameter τ が制御する指数、高周波数アイテムではパラメータ α が制御する指数を持つ二つの異なるパワーロー領域を捉える。このモデルは、テキストおよびネットワークデータにおいて、顕著に優れたフィットを示す。

ABSTRACT

Bayesian nonparametric approaches, in particular the Pitman-Yor process and the associated two-parameter Chinese Restaurant process, have been successfully used in applications where the data exhibit a power-law behavior. Examples include natural language processing, natural images or networks. There is also growing empirical evidence that some datasets exhibit a two-regime power-law behavior: one regime for small frequencies, and a second regime, with a different exponent, for high frequencies. In this paper, we introduce a class of completely random measures which are doubly regularly-varying. Contrary to the Pitman-Yor process, we show that when completely random measures in this class are normalized to obtain random probability measures and associated random partitions, such partitions exhibit a double power-law behavior. We discuss in particular three models within this class: the beta prime process (Broderick et al. (2015, 2018), a novel process called generalized BFRY process, and a mixture construction. We derive efficient Markov chain Monte Carlo algorithms to estimate the parameters of these models. Finally, we show that the proposed models provide a better fit than the Pitman-Yor process on various datasets.

研究の動機と目的

• 既存のベイジアン非パラメトリックモデル（例：ピットマン＝ヨアプロセス）は、単一のパワーロー領域を仮定しているが、実世界のデータには二重パワーローの挙動が増えてきているという経験的証拠があるため、その制限を克服すること。
• 順位付けられた周頻度に二つの異なるパワーロー領域を示す、完全にランダムな測度の新クラス—二重正則変動性CRMs—を構築すること。
• このようなモデルの一般化された二つの構築法を提供し、具体的なプロセスとして一般化BFRYプロセスおよびベータプライムプロセスを定義すること。
• これらのモデルにおけるパrameter推定のための効率的なマルコフ連鎖モンテカルロ推論アルゴリズムを導出すること。
• 提案されたモデルが、テキストコーパスおよびソーシャルネットワークを含む多様なデータセットにおいて、ピットマン＝ヨアプロセスよりも優れたフィットを示すことを経験的に検証すること。

提案手法

• 二重正則変動性を示す、完全にランダムな測度（CRM）の新クラスを提案する。これは、Lévy測度が二つの異なる正則変動領域を示すことを意味する。
• 一般化BFRYプロセスを安定ベータプロセスの変換として、ベータプライムプロセスを一般化されたガンマプロセスの変換として構築する。
• CRMを正規化して、順位付けられた周頻度に二重パワーローの挙動を示す確率測度を生成する。$ f_{(k)} \simeq \begin{cases} C_1 k^{-1/\tau} & \text{for small }k \\ C_2 k^{-1/\alpha} & \text{for large }k \end{cases} $
• σ、τ、およびその他のハイパラメータを含むモデルパラメータの事後分布推論のための効率的なMCMCアルゴリズムを導出する。
• 再重み付けされたコルモゴロフ＝スミルノフ適合度統計量を用いて、提案モデルとピットマン＝ヨアプロセスの間でモデルフィットを定量的に比較する。
• アメリカ国立コーパス（ANC）、フランス語および英語の書籍、NIPS1000、およびTwitterネットワークを含む実データセットにモデルを適用し、周頻度および順位分布の両方の観点から性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 順位付けられた周頻度に、低周波数領域と高周波数領域で異なる指数を持つ二重パワーローの挙動を捉えることができる、ベイジアン非パラメトリックモデルを構築できるか？
• RQ2 正規化された、二重正則変動性CRMは、二つの異なるパワーロー領域を示すランダムな分割および周頻度分布を生成するか？
• RQ3 一般化BFRYプロセスおよびベータプライムプロセスは、二重パワーローの挙動が疑われる実世界のデータセットに対して、ピットマン＝ヨアプロセスと比較して優れたフィットを示すか？
• RQ4 大規模データセットへの実用的応用を可能にするために、これらの新規モデルにおける効率的なMCMC推論が開発可能か？
• RQ5 語彙頻度やネットワーク次数といった実データに観察される二重パワーローの挙動は、標準のピットマン＝ヨアベースのモデルと比較して、提案モデルによりよりよく捉えられるか？

主な発見

• 一般化BFRYプロセスおよびベータプライムプロセスは、二重正則変動性CRMの具体例として、低周波数領域ではτ、高周波数領域ではαの異なる指数を持つ、順位付けられた周頻度における二重パワーローの挙動を成功裏にモデル化している。
• アメリカ国立コーパス（ANC）データセットでは、GBFRYモデルのコルモゴロフ＝スミルノフ適合度統計量は0.033であり、ピットマン＝ヨアプロセスの0.081よりも顕著に低い。これは、より優れたフィットを示している。
• NIPS1000データセットでは、GBFRYモデルの適合度統計量は0.041であり、ピットマン＝ヨアプロセス（0.059）および一般化されたガンマプロセス（0.08）を上回り、より優れた予測性能を確認した。
• 高周波数指数τの事後信用区間は、テキストデータセットでは一貫して1に近い値を示した（例：ANCでは(0.998, 1.055)）。これは、ジプの指数仮説を支持する。
• Twitterデータでは、GBFRYモデルが二重パワーローの挙動を捉えており、高周波数指数τ ≈ 1.60、低周波数指数σ ≈ 0.28であった。一方、ピットマン＝ヨアプロセスは高周波数尾部をモデル化できなかった。
• 視覚的事後予測チェック（図3）により、GBFRYおよびベータプライムモデルのみが、出現頻度の割合および順位付けられた周頻度の両方において、二重パワーローの形状を正確に捉えていることが確認された。これに対してピットマン＝ヨアモデルはその形状を再現できなかった。