[論文レビュー] A two-step sequential approach for hyperparameter selection in finite context models

José Contente, Ana Martins+2 more|arXiv (Cornell University)|Mar 20, 2026

Algorithms and Data Compression被引用数 0

ひとこと要約

2段階の逐次手法で有限文脈モデル（FCM）のハイパーパラメータkとαを選択する：pamiでkを特定し、kが決定した後Dirichlet–multinomialの周辺尤度を最大化してαを推定。グリッドサーチと同程度の圧縮率を、はるかに低コストで達成。

ABSTRACT

Finite-context models (FCMs) are widely used for compressing symbolic sequences such as DNA, where predictive performance depends critically on the context length k and smoothing parameter α. In practice, these hyperparameters are typically selected through exhaustive search, which is computationally expensive and scales poorly with model complexity. This paper proposes a statistically grounded two-step sequential approach for efficient hyperparameter selection in FCMs. The key idea is to decompose the joint optimization problem into two independent stages. First, the context length k is estimated using categorical serial dependence measures, including Cramér's ν, Cohen's \k{appa} and partial mutual information (pami). Second, the smoothing parameter α is estimated via maximum likelihood conditional on the selected context length k. Simulation experiments were conducted on synthetic symbolic sequences generated by FCMs across multiple (k, α) configurations, considering a four-letter alphabet and different sample sizes. Results show that the dependence measures are substantially more sensitive to variations in k than in α, supporting the sequential estimation strategy. As expected, the accuracy of the hyperparameter estimation improves with increasing sample size. Furthermore, the proposed method achieves compression performance comparable to exhaustive grid search in terms of average bitrate (bits per symbol), while substantially reducing computational cost. Overall, the results on simulated data show that the proposed sequential approach is a practical and computationally efficient alternative to exhaustive hyperparameter tuning in FCMs.

研究の動機と目的

• DNAのような記号列に対する有限文脈モデル（FCM）の効率的なハイパーパラメータ選択の必要性を動機づける。
• コンテキスト長kと平滑化αを分離する2段階アプローチを開発し、最適化の複雑さを低減する。
• 経験的ベイズと情報理論的指標を用いて、kとαを統計的に根拠づけて推定する方法を提供する。

提案手法

• pami（部分自己相互情報）を遅延ベースの特徴として用い、最も強い系列依存を示すlagを特定する。
• 文脈間の条件付き独立を仮定し、選択されたk*に対してDirichlet–multinomial周辺尤度を最大化してα*|k*を推定する（empirical Bayes）。
• FCMにおけるリドストン平滑化をP(y_{t+1}=s|c^t)=(n_s^t+α)/(∑_a n_a^t+|A|α)として表現し、αをDirichlet事前分布のパラメータとして解釈する。
• pami(h)=E[log(P(Y_t,Y_{t+h}|F_t)/(P(Y_t|F_t)P(Y_{t+h}|F_t)))]を計算し、最大pamiを与えるlagをk*として選択する。
• 必要に応じてCramérのνやCohenのκなど他の特徴量と比較するが、kが大きくなる場合には効果が乏しかった。

$(k,\alpha)=(3,0)$

実験結果

リサーチクエスチョン

• RQ1 記号列から有限文脈モデルの最適なコンテキスト長k*を2段階の逐次手順で信頼性高く識別できるか？
• RQ2 選択されたk*に条件づけてDirichlet–multinomial周辺尤度を最大化することでα*を正確に推定できるか？
• RQ3 提案手法は圧縮性能（ビット/シンボル）と計算コストの点で、全探索のグリッドサーチとどのように比較できるか？
• RQ4 サンプルサイズがk*の識別精度とα*推定精度に及ぼす影響はどの程度か？
• RQ5 νやκなどの代替的なカテゴリ時系列特徴量は、k*の選択に対して同等の利点を提供するか？

主な発見

• pamiは真のラグkで明確なピークを示し、kを識別する際にνとκより優れており、シミュレーションではT=100,000で約70%の正答k*を達成。
• α*|k*の推定はサンプルサイズが大きいほど改善し、k*が正しく同定された場合により正確となる。一方、k*を誤認するとα*の推定が劣化。
• 2段階の手法はグリッドサーチのbps(gs)に近い圧縮ビットレートを達成し、グリッドサーチのように多くの圧縮実行を必要とせず、単一の圧縮実行で済む。
• k*が正しく識別された場合、bps*はデータ生成ビットレートと同一／近似的であり、k*を誤認すると圧縮が悪化する傾向だが、α*がある程度補正可能。
• 全体として、コンテキスト長kが圧縮効率の支配的ハイパーパラメータであり、逐次的アプローチは計算コストを大幅に節約する。

$(k,\alpha)=(8,0)$