[論文レビュー] Sparse Adaptive Dirichlet-Multinomial-like Processes

Marcus Hütter|arXiv (Cornell University)|May 16, 2013

Algorithms and Data Compression参考文献 19被引用数 8

ひとこと要約

本稿では、大規模または複雑なアスキューべットを対象としたi.i.d.データのオンライン推定のため、冗長性を最小化するデータに依存する適応的パラメータ $\beta^*$ を用いたスパースな適応的ディリクレ・多項分布に類似したプロセスを提案する。主な貢献は、アスキューべットのサイズや記号頻度の事前知識がなくても、小、中、大の記号数のすべての状況で最適な性能を達成する、シンプルで高速かつオンラインな推定器であり、集中パラメータを $m/[2\ln(n+1/m)]$ に設定している。

ABSTRACT

Online estimation and modelling of i.i.d. data for short sequences over large or complex "alphabets" is a ubiquitous (sub)problem in machine learning, information theory, data compression, statistical language processing, and document analysis. The Dirichlet-Multinomial distribution (also called Polya urn scheme) and extensions thereof are widely applied for online i.i.d. estimation. Good a-priori choices for the parameters in this regime are difficult to obtain though. I derive an optimal adaptive choice for the main parameter via tight, data-dependent redundancy bounds for a related model. The 1-line recommendation is to set the 'total mass' = 'precision' = 'concentration' parameter to m/2ln[(n+1)/m], where n is the (past) sample size and m the number of different symbols observed (so far). The resulting estimator (i) is simple, (ii) online, (iii) fast, (iv) performs well for all m, small, middle and large, (v) is independent of the base alphabet size, (vi) non-occurring symbols induce no redundancy, (vii) the constant sequence has constant redundancy, (viii) symbols that appear only finitely often have bounded/constant contribution to the redundancy, (ix) is competitive with (slow) Bayesian mixing over all sub-alphabets.

研究の動機と目的

• 短い系列と大規模または複雑なアスキューべットを対象とした、言語モデルやデータ圧縮の分野で特に重要な、オンラインで適応的な確率推定の課題に取り組む。
• 推定プロセスにおける冗長性を最小化する、最適でデータに依存する集中パラメータ ($\beta^*$) の選択を導出する。
• アスキューべットのサイズや記号頻度の事前知識に依存せず、小、中、大のすべての記号数のスケールで良好な性能を発揮する手法を開発する。
• ベイジアン平均やオフライン最適化の計算的負担を回避しつつ、効率的かつオンラインな推定器を保証する。
• KT、パーツ、固定事前分布を用いたディリクレ・多項分布などの既存の推定器に対して、理論的裏付けがあり、シンプルで高速な代替手法を提供する。

提案手法

• 過去の相対周波数に基づいて次に出現する記号の確率を推定するスパースな適応的モデル $S^{\beta}$ を提案し、未発生記号のための適応的「脱出」確率を導入する。
• タイトな、データに依存する冗長性バウンドを用いて最適パラメータ $\beta^*$ を導出し、オンライン適応のための式 $\beta^* = m/[2\ln(n+1/m)]$ を得る。
• 各時刻で現在の $m_t$ と $n_t$ に基づき $\beta$ を動的に更新する変数パラメータ版 $\vec{\beta}^*$ を導入し、冗長性を最小化する。
• ディガマ関数の近似と冗長性解析を用いて理論的バウンドを導出し、提案された $\beta^*$ の最適性を裏付ける。
• 非情報的事前分布構造を採用し、発生しない記号を罰しないようにし、有限回出現する記号に対しても冗長性が有界であることを保証する。
• 合成データおよび実データ（Zipf分布やファックス画像シーケンスなど）を用いた、既知の推定器（例：KT、パーツ、DirM*、SAW-Bayes）との比較を通じて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 大規模なアスキューべットにおけるオンラインi.i.d.推定のためのディリクレ・多項分布に類似したモデルにおいて、集中パラメータ $\beta$ の最適な適応的選択は何か？
• RQ2 アスキューべットのサイズや記号頻度の事前知識がなくても、データに依存するオンラインな方法で冗長性を最小化するにはどうすればよいか？
• RQ3 シンプルで高速かつ理論的裏付けのある推定器は、多様な記号数のスケール（小、中、大）において、既存のベイジアンおよびミニマックス推定器を上回ることができるか？
• RQ4 完全なアスキューべットと記号数の知識を持つオラクルと比較して、提案手法の性能はどの程度か？
• RQ5 発生しない記号や有限回出現する記号が、推定器の冗長性に与える影響は何か？

主な発見

• 提案された推定器 $S^{\vec{\beta}^*/2}$ は、オフライン最適な $S^{\beta^*/2}$ とほぼ区別できない冗長性を達成しており、オンライン適応による性能損失がほとんどないことを示している。
• 特に $m \ll D$（$D$ は基本的なアスキューべットのサイズ）の状況において、KT、パーツ、ハルデーン事前分布などの標準的手法よりも優れた性能を発揮する。
• 小規模な $m$ の場合、$\text{KT}_{\cal A} + \ln{D \choose m}$ は $S^{\vec{\beta}^*/2}$ よりも優れているが、これは実際には利用不可能なオラクル知識（実際のアスキューべット ${\cal A}$ の知識）を用いているためであり、実用的状況では成立しない。
• 定数系列では冗長性が一定を保ち、有限回出現する記号に対しても寄与が有界であるため、重要な理論的望ましい性質を満たしている。
• 部分アスキューべットにおける遅いベイジアン混合手法と同等の性能を発揮し、一様分布、Zipf分布、実世界のデータのすべてでロバストに動作し、データセット間での性能逆転が最小限に抑えられている。
• 最終的な提案である $\beta = m/[2\ln(n+1/m)]$ が最適であり、$m$ が小さくても中程度でも大きくても普遍的に適用可能であることが示された。