[論文レビュー] Sum-Product Networks for Sequence Labeling

Martin Ratajczak, Sebastian Tschiatschek+1 more|arXiv (Cornell University)|Jul 6, 2018

Biomedical Text Mining and Ontologies参考文献 20被引用数 6

ひとこと要約

本稿では、音声認識や文字認識などの序列分類タスクにおいて、線形チェーン条件付き確率場（LC-CRF）内に深く、微分可能で効率的な高次因子としてSum-Product Networks（SPNs）を提案する。従来の一次因子や線形高次因子に代えてSPNを用いることで、複数の入力セグメントと出力ラベルの間の複雑で非線形な依存関係を捉えながら、正確かつ効率的な推論を可能にする。この手法は、TIMITデータセットで18.2%の電話誤り率（PER）を達成し、NHO-LC-CRFsを含む先行モデルを上回る最先端の性能を発揮した。

ABSTRACT

We consider higher-order linear-chain conditional random fields (HO-LC-CRFs) for sequence modelling, and use sum-product networks (SPNs) for representing higher-order input- and output-dependent factors. SPNs are a recently introduced class of deep models for which exact and efficient inference can be performed. By combining HO-LC-CRFs with SPNs, expressive models over both the output labels and the hidden variables are instantiated while still enabling efficient exact inference. Furthermore, the use of higher-order factors allows us to capture relations of multiple input segments and multiple output labels as often present in real-world data. These relations can not be modelled by the commonly used first-order models and higher-order models with local factors including only a single output label. We demonstrate the effectiveness of our proposed models for sequence labeling. In extensive experiments, we outperform other state-of-the-art methods in optical character recognition and achieve competitive results in phone classification.

研究の動機と目的

• 序列分類における一次因子や線形高次因子の限界、すなわち入力セグメントと出力ラベルの間の複雑で非線形な依存関係を捉えることの困難さを解決すること。
• 高次入力および出力依存因子としてSum-Product Networks（SPNs）を統合することで、構造的予測モデルにおける効率的かつ正確な推論を可能にすること。
• 光学文字認識や音声分類などの序列モデリングタスクにおいて、SPNsが豊富で深い依存関係をモデル化する有効性を調査すること。
• NHO-LC-CRFs や HO-HU-CRFs を含む既存の最先端手法と比較し、性能および一般化能力の観点からSPNベースのモデルの有効性を検証すること。

提案手法

• 本モデルは、標準的な局所的および高次因子をSPNに置き換えることで、高次線形チェーンCRF（HO-LC-CRFs）を拡張する。SPNは、正確かつ効率的な推論が可能な深さのある構造的確率的モデルである。
• SPNは、m個の入力セグメントをn個の出力ラベルにマッピングする入力依存高次因子として使用され、複雑で非線形な関係のモデル化を可能にする。
• SPNアーキテクチャは、和ノードと積ノードの深い層で構成され、和ノードは重み付き混合を、積ノードは変数の周辺分布を要因分解する。
• 本モデルは、隠れ変数および出力変数の正確な周辺推論を実現するため、メッセージパッシングを用いる。深さのある構造であっても正確性を保つ。
• 過学習を軽減するため、入力に依存しないスパースなバイグラムおよびトライグラム要因を用い、モデルは勾配ベース最適化によりエンドツーエンドで学習される。
• 比較のため、同じフレームワーク（HO-HU-CRFs）内でのSPNの代替として、判別的制限ボルツマンマシン（RBMs）の評価も実施している。

実験結果

リサーチクエスチョン

• RQ1 SPNは、序列分類における入力セグメントと出力ラベルの間の非線形的で高次の依存関係を効果的にモデル化できるか？
• RQ2 HO-LC-CRFsにSPNを統合することで、高いモデル表現力と正確かつ効率的な推論を両立できるか？
• RQ3 SPNベースのHO-LC-CRFsは、TIMITなどの序列分類ベンチマークにおいて、NHO-LC-CRFs や HO-HU-CRFs といった最先端手法と比較して、性能に優れているか？
• RQ4 SPNは、通常のMLPベースの高次因子と比較して、序列モデルにおいて過学習をどの程度軽減できるか？

主な発見

• SPN-HO-LC-CRFモデルは、TIMITデータセットで18.2%の電話誤り率（PER）を達成し、すべての一次因子モデルを上回り、最先端の手法と同等またはそれを上回った。
• 最も優れた性能を示したSPN-HO-LC-CRFの設定は、3層の隠れ層、和ノードあたり2つの積ノード、3つの隠れ状態を用い、18.2%のPERを達成した。
• HO-HU-CRFモデルはわずかに優れた17.8%のPERを記録したが、SPN-HO-LC-CRFsは競争力があり、正確な推論という利点を有する。
• m=n=1およびm=n=2の入力依存要因を備えたSPN-HO-LC-CRFsは、一次因子のSPN-LC-CRFs や他のベースライン（GMM-LC-CRFs や CNFs）を上回った。
• スパースな入力に依存しないバイグラムおよびトライグラム要因の使用により、特に高次入力依存要因を用いる場合の過学習が軽減された。
• 実験の結果、SPN層における和演算が最大演算子に置き換わるよりもわずかに優れた性能を示し、テスト誤り率は19.6%および19.7%であったのに対し、最大演算子では19.9%であった。