[論文レビュー] A generalized risk approach to path inference based on hidden Markov models

Jüri Lember, Alexey Koloydenko|arXiv (Cornell University)|Jul 21, 2010

Bayesian Methods and Mixture Models参考文献 40被引用数 3

ひとこと要約

本稿では、隠れマルコフモデル（HMM）におけるパス推定のための一般化されたリスクベースのフレームワークを提案し、従来のバイテルビ（MAP）推定と後方確率推定（PD）推定の両方をハイブリッド化する解釈可能で調整可能な新しい推定器クラスを提唱する。従来のアルゴリズム的ハイブリッドとは異なり、これらのリスクベース推定器は計算的に効率的であり、実際の応用において『即座に使用可能』であり、前向き・後ろ向き手続きを用いた動的計画法により、実際のバイオインフォマティクスデータ上で精度と頑健性が向上したことが検証されている。

ABSTRACT

Motivated by the unceasing interest in hidden Markov models (HMMs), this paper re-examines hidden path inference in these models, using primarily a risk-based framework. While the most common maximum a posteriori (MAP), or Viterbi, path estimator and the minimum error, or Posterior Decoder (PD), have long been around, other path estimators, or decoders, have been either only hinted at or applied more recently and in dedicated applications generally unfamiliar to the statistical learning community. Over a decade ago, however, a family of algorithmically defined decoders aiming to hybridize the two standard ones was proposed (Brushe et al., 1998). The present paper gives a careful analysis of this hybridization approach, identifies several problems and issues with it and other previously proposed approaches, and proposes practical resolutions of those. Furthermore, simple modifications of the classical criteria for hidden path recognition are shown to lead to a new class of decoders. Dynamic programming algorithms to compute these decoders in the usual forward-backward manner are presented. A particularly interesting subclass of such estimators can be also viewed as hybrids of the MAP and PD estimators. Similar to previously proposed MAP-PD hybrids, the new class is parameterized by a small number of tunable parameters. Unlike their algorithmic predecessors, the new risk-based decoders are more clearly interpretable, and, most importantly, work "out of the box" in practice, which is demonstrated on some real bioinformatics tasks and data. Some further generalizations and applications are discussed in conclusion.

研究の動機と目的

• HMMの既存パス推定器における限界、特にMAPとPD推定器のハイブリッド化における解釈可能性と実用性の欠如を解決すること。
• 古典的基準を一般化し、MAPとPD推定器の間を体系的かつ滑らかに補間可能な、原理的でリスクベースのパス推定アプローチを構築すること。
• 前向き・後ろ向き手続きを用いた動的計画法により、新しい推定器を効率的に計算するアルゴリズムを提供し、実用的応用を保証すること。
• 提案された推定器が実世界のバイオインフォマティクスデータセット上で有効であることを実証し、標準的手法よりも優れた性能を示すこと。
• 計算可能性を維持したまま、半マルコフモデルや因子型HMMなどのHMMの拡張版へのフレームワークの一般化を図ること。

提案手法

• リスク関数を最小化する枠組みとして、事前情報と事後情報のバランスを取る新しい推定器クラスを定義する一般化されたリスクアプローチを提案する。
• バイテルビ（MAP）と後方確率推定（PD）パスの間を補間するパラメータ化された推定器の族を導入し、実験的最適化に適した調整可能なパラメータを備える。
• バイテルビおよび後方確率推定アルゴリズムに類似した前向きおよび後ろ向き計算を用いた動的計画法を構築し、新しい推定器を効率的に計算する。
• 離散的かつ有限な状態空間と条件付き独立な観測値を持つHMMに適用し、事後分布のマルコフ性を活用する。
• 交差検証とラベル付きデータを用いてリスクベースのパラメータを調整し、未知のデータに対して最適な性能を達成する。
• 可変期間型や因子型HMMなどのより複雑なモデルに対しても、同じ計算構造を維持することで、アプローチを拡張する。

実験結果

リサーチクエスチョン

• RQ1 HMMにおける既存のパス推定器を統合・一般化する、原理的でリスクベースのフレームワークをどのように構築できるか？
• RQ2 MAPとPD推定器の従来のアルゴリズム的ハイブリッド化にはどのような限界があり、より解釈可能で統計的なフレームワークによってどのように解決できるか？
• RQ3 計算効率を維持したまま、バイテルビ推定と後方確率推定の間を体系的に補間する新しい推定器クラスを構築できるか？
• RQ4 提案されたリスクベース推定器は、実際のバイオインフォマティクスデータにおいて標準的手法と比較して、どのように性能を発揮するか？
• RQ5 このフレームワークは、半マルコフモデルや因子型モデルなどのより複雑なHMMの変種へどの程度一般化できるか？

主な発見

• 提案されたリスクベース推定器は、解釈可能で調整可能であり、従来のハイブリッド手法とは異なり、カスタムのアルゴリズム調整を必要とせず『即座に使用可能』である。
• 前向き・後ろ向き手続きを用いた動的計画法により、新しい推定器は効率的に計算され、長いシーケンスへのスケーラビリティが保証される。
• バイオインフォマティクス実験では、新しい推定器は標準的なMAPおよびPD推定器よりも高い精度を達成しており、状態遷移が曖昧な状況でも顕著に優れた性能を示した。
• 制約付き最適化により、不適切なパスの処理と事後確率の正値性の確保が可能となり、誤った解を避ける。
• 交差検証によるパラメータチューニングにより、一貫した性能向上が得られ、さまざまなデータセットに対して頑健であることが示された。
• コアアルゴリズムへの最小限の変更で、半マルコフモデルや因子型HMMなどの拡張HMMへ自然に一般化可能である。