[論文レビュー] Fine-grained Event Learning of Human-Object Interaction with LSTM-CRF

Tuan Do, James Pustejovsky|arXiv (Cornell University)|Sep 30, 2017

Time Series Analysis and Forecasting参考文献 12被引用数 4

ひとこと要約

本稿では、3次元モーショングラフデータから空間的・時間的イベント構造を分類するためにLSTM-CRFモデルを用いた、詳細なイベント学習フレームワークを提案する。モーショングラフを時間的セグメントに分割し、各セグメントを（主体、対象、場所的表現、動詞、介詞）という構造化されたイベントラベルでアノテートすることで、20%から3%に減少した不正な出力と併せて、43%の精度を達成。これは6%のベースラインを著しく上回る結果である。

ABSTRACT

Event learning is one of the most important problems in AI. However, notwithstanding significant research efforts, it is still a very complex task, especially when the events involve the interaction of humans or agents with other objects, as it requires modeling human kinematics and object movements. This study proposes a methodology for learning complex human-object interaction (HOI) events, involving the recording, annotation and classification of event interactions. For annotation, we allow multiple interpretations of a motion capture by slicing over its temporal span, for classification, we use Long-Short Term Memory (LSTM) sequential models with Conditional Randon Field (CRF) for constraints of outputs. Using a setup involving captures of human-object interaction as three dimensional inputs, we argue that this approach could be used for event types involving complex spatio-temporal dynamics.

研究の動機と目的

• 複雑な人間-対象相互作用イベントを、詳細な空間的・時間的ダイナミクスでモデル化する課題に対処すること。
• 時間的スパンを分割することで、モーショングラフの複数の解釈を可能にする、詳細なイベントアノテーションを実現すること。
• LSTMの逐次的モデリングとCRFの出力制約を組み合わせることで、イベント分類の精度を向上させること。
• ECATを用いたスケーラブルなアノテーションフレームワークを構築し、ラベル付きイベントコンポーネントを有する3次元モーショングラフデータを処理すること。
• 詳細なイベント表現のエンドツーエンド学習が、膨大な特徴工学を伴わずに可能であることを示すこと。

提案手法

• Microsoft Kinect® から得られるモーショングラフデータを用い、13個の上半身関節位置と、1対象あたり12の特徴を持つ対象マーカー座標を抽出し、固定長の特徴ベクトルを形成する。
• 各モーショングラフセグメントを20フレームのインターバルに分割し、各セグメントを（主体、対象、場所的表現、動詞、介詞）という構造化ラベルでアノテートする。
• ドロップアウト（0.8）と勾配クリッピングを用いて過学習を防ぐために、200ユニットの1層LSTMが特徴ベクトルの系列を処理する。
• 出力ラベルの構造的整合性を保証するために、LSTMの上流にCRF層を適用し、特徴と遷移スコアを用いた対数線形条件付き確率モデルでコンポーネント間の依存関係をモデル化する。
• 学習には交差エントロピー損失を使用し、評価時の学習（log-sum-exp）と推論（max-sum）にはメッセージパッシングアルゴリズムを用いる。
• 出力構造は対数線形モデルとして表現される：$\log P(Y|X) = t(Y) - \log \sum_{Y'} \exp(t(Y'))$、ここで$t(Y)$は特徴と遷移スコアを符号化する。

実験結果

リサーチクエスチョン

• RQ1 時間的セグメントに分割することで、複数コンポーネントのイベントアノテーションが可能となる詳細なイベント学習が、有効に達成できるか？
• RQ2 LSTMとCRFを組み合わせることで、構造化されたイベント予測における分類精度と出力の一貫性がどのように向上するか？
• RQ3 制約なしモデルと比較して、モデルが不正なラベル組み合わせの発生率をどの程度低減できるか？
• RQ4 空間の前置詞や動的な動詞を含む複雑な人間-対象相互作用イベントにおいて、モデルの性能はいかがなものか？
• RQ5 特徴工学を一切行わないシンプルなエンドツーエンド逐次モデルが、詳細なイベント分類で強力な結果を達成できるか？

主な発見

• LSTM-CRFモデルは、最も頻度の高いラベルを予測する6%のベースラインを著しく上回る43%の精度を達成した。
• CRF層による構造的制約の導入により、不正なラベル出力の割合が20%から3%に減少した。
• 動詞分類が最も弱く、68%の精度にとどまり、これは「押す」と「転がす」、「引く」と「転がす」、「滑らせる」と「転がす」の間で高い混同が生じているためである。
• 対象および主体のラベル予測が最も強く、それぞれ87%および86%の精度を示し、イベントに参加する対象の認識が良好であることを示している。
• CRF部により、単独のLSTMモデル（39% vs. 43%の精度）に比べて明確な向上が見られ、構造的出力予測の価値が裏付けられた。
• 本手法は、最小限の特徴工学に依存しており、生の3次元モーショングラフデータと単純な逐次アーキテクチャのみで良好な性能を達成した。