[논문 리뷰] A two-step sequential approach for hyperparameter selection in finite context models

José Contente, Ana Martins외 2명|arXiv (Cornell University)|2026. 03. 20.

Algorithms and Data Compression인용 수 0

한 줄 요약

두 단계 순차 방법으로 유한 컨텍스트 모델(FCM)에 대한 하이퍼파라미터 k와 α를 선택: k를 식별하기 위해 pami를 사용하고, 주어진 k에 대해 Dirichlet–multinomial 주변우도(marginal likelihood)를 최대화하여 α를 추정하며, 그리드 탐색에 비해 훨씬 낮은 비용으로 비슷한 압축 성능을 달성한다.

ABSTRACT

Finite-context models (FCMs) are widely used for compressing symbolic sequences such as DNA, where predictive performance depends critically on the context length k and smoothing parameter α. In practice, these hyperparameters are typically selected through exhaustive search, which is computationally expensive and scales poorly with model complexity. This paper proposes a statistically grounded two-step sequential approach for efficient hyperparameter selection in FCMs. The key idea is to decompose the joint optimization problem into two independent stages. First, the context length k is estimated using categorical serial dependence measures, including Cramér's ν, Cohen's \k{appa} and partial mutual information (pami). Second, the smoothing parameter α is estimated via maximum likelihood conditional on the selected context length k. Simulation experiments were conducted on synthetic symbolic sequences generated by FCMs across multiple (k, α) configurations, considering a four-letter alphabet and different sample sizes. Results show that the dependence measures are substantially more sensitive to variations in k than in α, supporting the sequential estimation strategy. As expected, the accuracy of the hyperparameter estimation improves with increasing sample size. Furthermore, the proposed method achieves compression performance comparable to exhaustive grid search in terms of average bitrate (bits per symbol), while substantially reducing computational cost. Overall, the results on simulated data show that the proposed sequential approach is a practical and computationally efficient alternative to exhaustive hyperparameter tuning in FCMs.

연구 동기 및 목표

• DNA와 같은 기호 시퀀스에 대해 유한 컨텍스트 모델(FCM)의 효율적인 하이퍼파라미터 선택 필요성에 대한 동기를 제공한다.
• 컨텍스트 길이 k와 스무딩 α를 분리하는 두 단계 접근법을 개발하여 최적화 복잡성을 줄인다.
• 경험적 베이즈와 정보 이론적 척도를 사용해 k와 α를 통계적으로 근거 있게 추정하는 방법을 제공한다.

제안 방법

• pami(partial auto mutual information) 를 지연(lag) 기반 피처로 사용하여 가장 강한 시퀀스 의존성을 나타내는 k*를 추정한다.
• 맥락 간 조건 독립성을 가정하고, order k*의 맥락에서 Dirichlet–multinomial 주변우도(marginal likelihood)를 최대화하여 α*|k*를 추정한다(경험적 베이즈).
• FCMs에서 Lidstone 스무딩을 P(y_{t+1}=s|c^t)=(n_s^t+α)/(∑_a n_a^t+|A|α)로 표현하고 α를 Dirichlet 사전 파라미터로 해석한다.
• pami(h)=E[log(P(Y_t,Y_{t+h}|F_t)/(P(Y_t|F_t)P(Y_{t+h}|F_t)))]를 계산하고, 최대 pami를 갖는 지연(k*)를 선택한다.
• 선택적으로 ν(Cramér의 ν)나 Cohen의 κ와 같은 다른 피처와 비교하되, 더 큰 k*에 대해서는 효과적이지 않았던 점을 언급한다.

$(k,\alpha)=(3,0)$

실험 결과

연구 질문

• RQ1 두 단계의 순차 절차가 기호 시퀀스에서 최적의 맥락 길이 k*를 신뢰성 있게 식별할 수 있는가?
• RQ2 선택된 k*에 조건화된 Dirichlet–멀티니얼 주변우도를 최대화하여 α*를 정확히 추정할 수 있는가?
• RQ3 제안된 순차적 접근법이 비효율적인 그리드 탐색에 비해 압축 성능(기호당 비트)과 계산 비용 측면에서 어떤 차이가 있는가?
• RQ4 샘플 크기가 k* 식별의 정확도와 α* 추정에 어떤 영향을 미치는가?
• RQ5 대체 범주형 시계열 피처(예: ν, κ)가 k* 선택에 비교 가능한 이점을 제공하는가?

주요 결과

• pami는 실제 지연 k에서 명확한 피크를 보이며 k* 식별에 대해 ν와 κ보다 우수하고, 시뮬레이션에서 T=100,000일 때 대략 70%의 정확한 k*를 보인다.
• α*|k* 추정은 샘플 크기가 커질수록 개선되며 k*가 정확히 식별될 때 더 정확하다; k*를 잘못 식별하면 α* 추정이 저하된다.
• 두 단계 방법은 그리드 탐색의 비트레이트(bps(gs))에 근접한 압축 비트레이트(bps*)를 제공하고, 그리드 탐색에서 필요한 다수의 압축 실행 대신 단일 압축 실행만 필요하다는 이점을 준다.
• k*가 정확히 식별되면 bps*는 데이터 생성 비트레이트와 구별되지 않지만, k*를 오인하면 압축이 악화하는 경향이 있으며, α*가 부분적으로 보완할 수 있다.
• 전반적으로 맥락 길이 k가 압축 효율에 지배적인 하이퍼파라미터이며, 순차적 접근은 계산 비용을 크게 절감하는 이점을 제공한다.

$(k,\alpha)=(8,0)$