[論文レビュー] Back to the Future: Knowledge Distillation for Human Action Anticipation

Vinh Cao Trần, Yang Wang+1 more|arXiv (Cornell University)|Apr 9, 2019

Human Pose and Action Recognition参考文献 25被引用数 7

ひとこと要約

本論文では、位置に敏感な損失関数を用いて、ラベルなし動画データを活用することで、アクション認識ネットワークがアクション予測ネットワークをガイドする知識蒸留フレームワークを提案する。この手法により、JHMDB および EPIC-KITCHENS で予測性能が向上し、関連する時空間的キューを注目させることで、自己教師あり設定において最先端の結果を達成する。

ABSTRACT

We consider the task of training a neural network to anticipate human actions in video. This task is challenging given the complexity of video data, the stochastic nature of the future, and the limited amount of annotated training data. In this paper, we propose a novel knowledge distillation framework that uses an action recognition network to supervise the training of an action anticipation network, guiding the latter to attend to the relevant information needed for correctly anticipating the future actions. This framework is possible thanks to a novel loss function to account for positional shifts of semantic concepts in a dynamic video. The knowledge distillation framework is a form of self-supervised learning, and it takes advantage of unlabeled data. Experimental results on JHMDB and EPIC-KITCHENS dataset show the effectiveness of our approach.

研究の動機と目的

• ラベル付きデータの不足という課題に、ラベルなし動画データを活用することで対処する。
• 事前学習済みのアクション認識ネットワークからの知識転送によって、アクション予測性能を向上させる。
• 動的動画における意味的コンセプトの時間的・空間的シフトを考慮した損失関数を設計する。
• 認識モデルからの蒸留によって、アクション予測における自己教師あり学習を可能にする。
• 将来のアクション予測のための関連する動画セグメントにモデルの注目を向けるようにする。

提案手法

• アクション認識ネットワーク（教師）がアクション予測ネットワーク（生徒）を監視する知識蒸留フレームワークを提案する。
• フレーム間での意味的コンセプトの位置シフトを処理するための新しい損失関数を導入し、時間的・空間的変動に対しても整合性を保証する。
• 蒸留プロセスではラベルなし動画データを用い、予測モデルの自己教師あり事前学習を可能にする。
• 生徒ネットワークは教師ネットワークの注目パターンを模倣することで、関連する時空間的特徴に注目するよう学習する。
• フレームワークはエンドツーエンドで訓練され、生徒ネットワークは将来のアクションを予測するとともに、教師の特徴表現と一致するように最適化される。
• 本手法は JHMDB および EPIC-KITCHENS で評価され、低データ環境下での有効性が示された。

実験結果

リサーチクエスチョン

• RQ1 アクション認識モデルからの知識蒸留は、アクション予測性能を向上させることができるか？
• RQ2 蒸留の過程で、動画内における意味的コンセプトの位置シフトを効果的にモデル化できるか？
• RQ3 ラベルなし動画データを自己教師あり学習に活用することで、どの程度予測性能が向上するか？
• RQ4 蒸留は、将来の予測に適した関連する動画セグメントに注目するように予測モデルを改善するか？
• RQ5 限られたラベル付きデータの下で、自己教師あり蒸留フレームワークは、教師ありベースラインを上回る性能を発揮できるか？

主な発見

• 提案された蒸留フレームワークは、JHMDB データセットで最先端の性能を達成し、ベースライン手法よりも予測精度が向上した。
• EPIC-KITCHENS データセットでは、特に低データ設定下で、アクション予測精度に顕著な向上が見られた。
• 位置に敏感な損失関数は、時間的・空間的シフトを効果的に処理し、教師と生徒の特徴表現のより強固な整合性を実現した。
• ラベルなしデータを蒸留によって活用することで、性能が顕著に向上し、自己教師あり事前学習の有効性が裏付けられた。
• 生徒ネットワークは、将来のアクションのキューと一致するように、より関連する動画セグメントに注目するよう学習したことが、改善された注目マップから裏付けられた。
• 本フレームワークは、異なる動画ドメインにわたって一般化が良く、JHMDB および EPIC-KITCHENS の両方で優れた結果を示した。