[論文レビュー] Factored Latent-Dynamic Conditional Random Fields for Single and Multi-label Sequence Modeling

Satyajit Neogi, Justin Dauwels|arXiv (Cornell University)|Nov 9, 2019

Music and Audio Processing被引用数 16

ひとこと要約

本稿では、各クラスラベルごとに相互作用する複数の潜在的動的要因を要因化された隠れ状態層でモデル化することで、系列ラベリングの性能を向上させる構造的確率的モデルであるFactored Latent-Dynamic Conditional Random Fields (FLDCRF) を提案する。FLDCRF は、CRF や LDCRF も含む LSTM や LSTM-CRF モデルよりも、単一ラベルおよびマルチラベル系列タスクで性能を向上させ、ジェスチャー認識では最良の LSTM モデルよりも最大で4%高い精度を達成し、マルチラベルアクティビティタギングでは平均2%の向上を示す。また、トレーニングが高速で、検証・テストの性能が一貫性を示す。

ABSTRACT

Conditional Random Fields (CRF) are frequently applied for labeling and segmenting sequence data. Morency et al. (2007) introduced hidden state variables in a labeled CRF structure in order to model the latent dynamics within class labels, thus improving the labeling performance. Such a model is known as Latent-Dynamic CRF (LDCRF). We present Factored LDCRF (FLDCRF), a structure that allows multiple latent dynamics of the class labels to interact with each other. Including such latent-dynamic interactions leads to improved labeling performance on single-label and multi-label sequence modeling tasks. We apply our FLDCRF models on two single-label (one nested cross-validation) and one multi-label sequence tagging (nested cross-validation) experiments across two different datasets - UCI gesture phase data and UCI opportunity data. FLDCRF outperforms all state-of-the-art sequence models, i.e., CRF, LDCRF, LSTM, LSTM-CRF, Factorial CRF, Coupled CRF and a multi-label LSTM model in all our experiments. In addition, LSTM based models display inconsistent performance across validation and test data, and pose diffculty to select models on validation data during our experiments. FLDCRF offers easier model selection, consistency across validation and test performance and lucid model intuition. FLDCRF is also much faster to train compared to LSTM, even without a GPU. FLDCRF outshines the best LSTM model by ~4% on a single-label task on UCI gesture phase data and outperforms LSTM performance by ~2% on average across nested cross-validation test sets on the multi-label sequence tagging experiment on UCI opportunity data. The idea of FLDCRF can be extended to joint (multi-agent interactions) and heterogeneous (discrete and continuous) state space models.

研究の動機と目的

• 1つのクラスラベルあたり1つの非相互作用的潜在的動的要因しかモデル化できない Latent-Dynamic CRF (LDCRF) の制限を解消すること。
• 複数の潜在的動的要因間の相互作用を可能にすることで、単一およびマルチラベル設定の系列ラベリング性能を向上させること。
• Factorial HMM にインspired された要因化された隠れ状態構造により、モデルの複雑さとパラメータ数を低減すること。
• LSTM やその他のディープラーニングベースラインと比較して、より明確な解釈性、より簡単なハイパーパramータ選択、およびより高速なトレーニングを実現するモデルを開発すること。
• より広範な適用性を実現するため、統合的および非一様な状態空間モデリングへのフレームワークの拡張を図ること。

提案手法

• 1つの時刻 t ごとに、複数の独立した隠れ状態変数（例：$h_{1,t}, h_{2,t}$）を導入し、それぞれがクラスラベル内に異なる潜在的動的要因を捉える。
• 各クラスラベル $y_t$ は、互いに排他的な隠れ状態集合 $\mathcal{H}_\ell$ に関連付けられ、$h_t \in \mathcal{H}_{y_t}$ が強制され、ラベルの一貫性が保証される。
• 観測値 $\mathbf{x}$ と隠れ状態 $\mathbf{h}$ に依存する特徴関数 $F_k$ を用いた条件付きランダムフィールドの定式化を採用し、観測値と遷移の特徴を統合的にモデル化する。
• 条件付き確率 $P(\mathbf{y}|\mathbf{x}, \theta)$ は、ラベル制約を満たすすべての有効な隠れ状態系列 $\mathbf{h}$ について和をとることで計算され、パーティション関数 $Z(\mathbf{x}, \theta)$ を用いる。
• オンライン予測のための周辺確率 $P(y_t | \mathbf{x}_{1:t}, \theta)$ を計算するために、フォワードバックワード法やビタビアルゴリズムを用いて推論を実行する。
• 過学習を防ぐために、L2正則化を用いた条件付き対数尤度の最大化により、モデルパラメータを学習する。

実験結果

リサーチクエスチョン

• RQ1 1つのクラスラベルごとに複数の相互作用する潜在的動的要因をモデル化することで、単一およびマルチラベルタスクにおける系列ラベリングの精度が向上するか？
• RQ2 要因化された隠れ状態構造により、LDCRF よりもモデルの複雑さとパラメータ数を低減できるか、あるいは性能を維持・向上できるか？
• RQ3 実世界の系列データにおいて、LSTM や LSTM-CRF などのディープラーニングモデルと比較して、FLDCRF の性能とトレーニング効率はどの程度か？
• RQ4 LSTM ベースのモデルがしばしば性能の乖離を示すのに対し、FLDCRF は検証セットとテストセットの間でより一貫性のある性能を達成できるか？
• RQ5 FLDCRF フレームワークは、非一様または統合された状態空間モデリングへどの程度拡張可能か？

主な発見

• FLDCRF は、CRF や LDCRF、LSTM、LSTM-CRF、Factorial CRF、Coupled CRF、マルチラベル LSTM を含む、すべての最先端モデルを実験の全範囲で上回る性能を発揮する。
• UCI ジェスチャーフェーズデータセットでは、単一ラベル系列タギングタスクにおいて、最良の LSTM モデルよりも約4%の性能向上を達成する。
• マルチラベル UCI オプポートーニティデータセットでは、ネストドクロスバリデーションのテストセット全体で、最良の LSTM モデルよりも平均2%の高い性能を達成する。
• LSTM モデルとは異なり、FLDCRF は検証セットとテストセットの間で一貫性のある性能を示し、モデル選択が困難になることがない。
• 構造的で微分可能かつパラメータ効率の良い設計のおかげで、GPU を使用しない状態でも、LSTM よりもはるかに高速にトレーニングが可能である。
• ブラックボックス型のディープラーニングモデルとは異なり、明確な解釈性と直感的な構造を備えており、隠れ状態を通じて内在的および外在的動的要因を明示的にモデル化している。