[論文レビュー] Generalized Earley Parser: Bridging Symbolic Grammars and Sequence Data for Future Prediction

Siyuan Qi, Baoxiong Jia+1 more|arXiv (Cornell University)|Jun 9, 2018

Human Pose and Action Recognition被引用数 18

ひとこと要約

本稿では、記号的文脈自由文法と分類器の出力確率を統合することで、生の未分割シーケンスデータ上で、シーケンスの分割、ラベリング、文法に基づく将来予測を統合的に最適化する一般化されたアールレーパーサーを提案する。非マルコフ的で構成的な構造を、文法拡張された接頭辞木上のヒューリスティックサーチによって活用することで、人間の行動予測タスクにおいて最先端の手法を上回り、テストケースでは最適な解析に対して43%の確率を達成し、CAD-120およびWatch-n-Patchデータセットでも優れた正確性を示した。

ABSTRACT

Future predictions on sequence data (e.g., videos or audios) require the algorithms to capture non-Markovian and compositional properties of high-level semantics. Context-free grammars are natural choices to capture such properties, but traditional grammar parsers (e.g., Earley parser) only take symbolic sentences as inputs. In this paper, we generalize the Earley parser to parse sequence data which is neither segmented nor labeled. This generalized Earley parser integrates a grammar parser with a classifier to find the optimal segmentation and labels, and makes top-down future predictions. Experiments show that our method significantly outperforms other approaches for future human activity prediction.

研究の動機と目的

• 動画や音声などの生の未分割シーケンスデータにおいて、従来の記号的パーサーが直接適用できない状況での将来ラベル予測の課題に対処すること。
• 分割、ラベリング、文法整合性を統合的に最適化することで、記号的文脈自由文法と接続主義的分類器を統合すること。
• 低レベルの分類器出力と高レベルの文法的構造を統合することで、トップダウン的かつ非マルコフ的将来予測を可能にすること。
• 多様なシーケンスデータの解析と予測タスクに適用可能な、原理的かつ汎用的なパーサーフレームワークの開発。

提案手法

• フレームごとのラベル信頼度を入力行列として扱うことで、古典的Earleyパーサーを確率的分類器出力に直接適用する拡張を実施。
• 文法規則に従って拡張された接頭辞木上でヒューリスティックサーチを実行し、ルートからノードへの各パスが部分的なラベル文を表す。
• 分類器出力に基づいて接頭辞の確率を計算し、文法的に妥当な文のうち最も確率の高いものに向けた探索を誘導。
• スキャン、予測、コンプリートの3つのコア操作を確率的入力に適応させ、文法整合性と尤度最適化を維持。
• 動的計画法を用いて部分解析の確率をキャッシュ・伝搬することで、探索空間の効率的探索を実現。
• 文法制約を探索プロセスに直接統合し、文法的に正しい文のみを考慮することで、局所最適解の発生を回避。

実験結果

リサーチクエスチョン

• RQ1 事前に分割や事前ラベリングを必要とせず、生の未分割シーケンスデータ上で直接動作する文法ベースのパーサーを一般化することは可能か？
• RQ2 確率的分類器出力と記号的文脈自由文法を効果的に統合することで、分割、ラベリング、将来予測を統合的に最適化できるか？
• RQ3 文法を介して非マルコフ的かつ構成的な構造を統合することで、マルコフモデルに比べて将来予測性能が向上するか？
• RQ4 忘れられた行動が含まれるようなノイズや不完全なデータに対しても、パーサーは頑健に動作するか？

主な発見

• 一般化Earleyパーサーは、例題において最適なラベル文「0 + 1」の最終解析確率が0.43に達し、文法と尤度の統合的最適化が有効であることを示した。
• CAD-120データセットでは、将来の人間行動予測において最先端の手法を顕著に上回り、構成的かつ非マルコフ的ダイナミクスを効果的に捉えていることを実証した。
• Watch-n-Patchデータセットでは、ノイズや不完全なシーケンスに対しても頑健であり、特に行動が忘れられた「アクションパッチング」シナリオで優れた性能を示した。
• 文法解析木を介して高い説明可能性を実現し、予測のための解釈可能な推論経路を提供した。
• 多様なシーケンスデータタイプにおいて強力な性能を発揮し、特定の分野に限定されない汎用的適用性を確認した。
• 記号的推論とニューラル分類器出力の統合により、予測精度が向上した。これにより、ハイブリッド記号的・接続主義的アーキテクチャの価値が浮き彫りになった。