[論文レビュー] Hierarchical Semi-Markov Conditional Random Fields for Recursive Sequential Data

Tran The Truyen, Dinh Phung+2 more|arXiv (Cornell University)|Sep 10, 2010

Anomaly Detection Techniques and Applications参考文献 31被引用数 23

ひとこと要約

本稿では、再帰的で階層的な順序データを一括してモデル化するための判別的で多項式時間のモデル、階層的準マルコフ条件付き確率場（HSCRF）を提案する。このモデルは、名詞句や品詞タグなどの複数の階層的レベルを同時に扱える。部分的に観測されたラベルを用いた学習と推論を効率的に行えるため、アクティビティ認識や名詞句抽出タスクにおいて、ベースラインモデルを上回る性能を発揮する。

ABSTRACT

Inspired by the hierarchical hidden Markov models (HHMM), we present the hierarchical semi-Markov conditional random field (HSCRF), a generalisation of embedded undirectedMarkov chains tomodel complex hierarchical, nestedMarkov processes. It is parameterised in a discriminative framework and has polynomial time algorithms for learning and inference. Importantly, we consider partiallysupervised learning and propose algorithms for generalised partially-supervised learning and constrained inference. We demonstrate the HSCRF in two applications: (i) recognising human activities of daily living (ADLs) from indoor surveillance cameras, and (ii) noun-phrase chunking. We show that the HSCRF is capable of learning rich hierarchical models with reasonable accuracy in both fully and partially observed data cases.

研究の動機と目的

• 階層的順序データにおけるカスケードモデルの限界を克服し、複数の意味的レベルを一括でモデル化することを目的とする。
• 再帰的・ネストされたマルコフ過程に対して、効率的な学習と推論を可能にする判別的モデルを構築することを目的とする。
• 条件付き確率場を、階層的で準マルコフ的な構造を扱えるように拡張し、多項式時間アルゴリズムを提供することを目的とする。
• 不完全なラベルを伴う状況でも、一般化された部分的教師あり学習と制約付き推論を可能にし、モデルの頑健性を向上させることを目的とする。
• HSCRFの有効性を、人間のアクティビティ認識や名詞句抽出といった実世界の応用において実証することを目的とする。

提案手法

• HSCRFを準マルコフCRFの階層的拡張として提案し、複数の意味的レベルにわたる再帰的シーケンスをモデル化する。
• 階層的構造における内部および外部の質量を効率的に計算するための非対称なインサイドアウトサイド（AIO）アルゴリズムを導入する。
• 階層的制約下での最大事後確率（MAP）デコードに一般化されたビタービアルゴリズムを採用する。
• 状態の継続、遷移、初期化、終了の各特徴を別々に定義する対数線形パrameterizationを用いる。
• 制約付き推論と部分的教師あり学習を、Constrained AIOおよびConstrained Viterbiアルゴリズムを用いて実装する。
• 推論および学習中の確率的計算におけるアンダーフローを回避するため、数値スケーリングを実装する。

実験結果

リサーチクエスチョン

• RQ1 判別的モデルは、複雑なデータにおける階層的・再帰的な順序構造を効果的に捉えることができるか？
• RQ2 部分的に観測されたラベルを伴う階層的モデルにおいて、効率的な学習と推論をどのように達成できるか？
• RQ3 複数の意味的レベルを一括でモデル化することは、カスケード型または平坦なモデルと比較して性能を向上させるか？
• RQ4 制約付き推論と部分的教師あり学習は、不完全なラベルを伴う実世界の設定において、どの程度モデルの精度を向上させるか？
• RQ5 HSCRFは、より複雑な非再帰的マルチレベルプロセスに対する実用的な近似として機能できるか？

主な発見

• テスト時に品詞タグが与えられた場合、HSCRFは標準CRFや準マルコフCRFを上回り、一括モデル化の利点を示している。
• 品詞タグを推論時に利用した場合、HSCRFはより広い文脈を扱えるSCRFを上回る精度を達成している。
• DSCRFは品詞タグが与えられてもSCRFより性能が悪いことから、同じ特徴空間下でもそのモデル表現能力の限界が示唆される。
• 名詞句抽出タスクにおいて、HSCRFはDSCRFおよびSCRFを常に上回り、階層的構造の価値を強力に示している。
• 部分的教師あり学習と制約付き推論は、不完全なアノテーションを伴う実世界データにおいて、性能の向上を顕著に示している。
• HSCRFは、完全観測と部分観測の両方の設定において、妥当な精度で豊かな階層的モデルを学習可能である。