[論文レビュー] Unsupervised Action Segmentation for Instructional Videos

AJ Piergiovanni, Anelia Angelova+2 more|arXiv (Cornell University)|Jun 7, 2021

Human Pose and Action Recognition参考文献 11被引用数 4

ひとこと要約

本論文は、Gumbel-Softmaxサンプリングを用いた確率的再帰的自己回帰モデルを用いて、教師なしで指示動画内の原子的アクションのセグメンテーションを実現する手法を提案する。複数の候補アクション系列を生成し、アクションの出現、一貫した持続時間、視覚的妥当性といった自己課せられた制約を用いて順位付けすることで、教師データが一切不要な状態で、反復的に自己ラベルを付与し、正確なセグメンテーションに収束する。この手法は、ベンチマークデータセットにおいて、先行する教師なし手法および一部の弱教師あり手法を上回る性能を達成する。

ABSTRACT

In this paper we address the problem of automatically discovering atomic actions in unsupervised manner from instructional videos, which are rarely annotated with atomic actions. We present an unsupervised approach to learn atomic actions of structured human tasks from a variety of instructional videos based on a sequential stochastic autoregressive model for temporal segmentation of videos. This learns to represent and discover the sequential relationship between different atomic actions of the task, and which provides automatic and unsupervised self-labeling.

研究の動機と目的

• 人為的アノテーションのない状態で、指示動画内の原子的アクションを同定すること。
• アクションが予測可能ではあるが順序が可変な複雑なタスクの時間的構造をモデル化すること。
• 動画レベルの制約を用いて、妥当なアクション系列を生成・順位付けする自己教師化メカニズムを開発すること。
• 自己ラベル化に基づくEMに類似した反復的最適化手順により、アクションセグメンテーションを繰り返し精錬することで、教師なし学習を可能にすること。
• 入力は動画のみであるが、標準ベンチマークで既存の教師なしおよび弱教師あり手法を上回ること。

提案手法

• 状態、出力記号、確率的遷移ルールを持つ順序的確率的自己回帰モデルで、全結合層とGumbel-Softmaxを用いて確率的サンプリングを実装する。
• 入力の動画フレームは、畳み込みニューラルネットワーク（例：VGG や AssembleNet）により特徴量系列に符号化され、自己回帰的に処理されてアクション系列が生成される。
• Gumbel-Softmaxによる異なるルールのサンプリングを通じて、各動画に対して複数の候補アクション系列が生成され、実行ごとに確率的変動が生じる。
• 順位付け関数は、以下の3つの制約に基づいて系列を評価する：(1) すべてのアクションが少なくとも1回以上出現すること、(2) 同じタスクに属する動画間でアクション持続時間が一貫していること、(3) アクション記号が視覚的特徴と一致すること。
• 上位順位の系列が偽ラベルとして使用され、モデルの学習に用いられ、このプロセスはEMに類似た反復的最適化ループで繰り返される。
• 順位付け関数の各成分を組み合わせた微分可能損失関数を用いて、エンドツーエンドでモデルを学習可能であり、勾配ベースの最適化が可能である。

実験結果

リサーチクエスチョン

• RQ1 確率的自己回帰モデルは、構造のない指示動画から複数の妥当なアクション系列を学習的に生成できるか？
• RQ2 教師なし状態において、構造的制約（例：アクションの出現、持続時間の一貫性）に基づく自己ラベル化戦略はどの程度有効か？
• RQ3 教師なしアクションセグメンテーションの性能は、弱教師ありおよび教師ありベースラインに匹敵または上回る程度まで向上できるか？
• RQ4 ハイパーパrameterとして指定されたアクション数（k）の値に、この手法はどの程度感受的か？
• RQ5 Gumbel-Softmaxサンプリングを用いることで、決定的またはランダム選択に比べて自己ラベル化の質が顕著に向上するか？

主な発見

• 提案手法は、50-Salads、Breakfast、NIVの各データセットにおいて、最先端の性能を達成し、先行する教師なし手法および一部の弱教師あり手法を上回った。
• NIVデータセットでは、AssembleNet特徴量を用いた場合、F1スコア0.457を達成し、先行研究（例：Alayrac et al. [1] 0.238、Kukleva et al. [8] 0.283）を上回った。
• アブレーションスタディの結果、コスト関数の3要素（アクションの出現、持続時間の一貫性、視覚的妥当性）がすべて性能向上に寄与しており、全組み合わせで50-Saladsでは33.4、Breakfastでは29.8のF1スコアを達成した。
• 候補系列のランダム選択またはGumbel-Softmaxの無効化は、50-Saladsでそれぞれ12.5および10.5のF1スコアに留まり、効果的な自己ラベル化には確率的サンプリングの必要性が裏付けられた。
• k（アクション数）の選択に対して、モデルは相対的に頑健であり、真のアクション数に近い値で性能がピークに達することが図5で示された。
• VGG特徴量をAssembleNetの代わりに用いても、NIVでF1スコア0.376を達成し、特徴抽出器に依存しない汎用性があることが示された。