[論文レビュー] Shuffle and Learn: Unsupervised Learning using Temporal Order Verification

Ishan Misra, C. Lawrence Zitnick+1 more|arXiv (Cornell University)|Mar 28, 2016

Human Pose and Action Recognition被引用数 20

ひとこと要約

この論文では、シャッフルされたフレーム順序が有効かどうかを識別するように訓練されたCNNを用いて、ラベルなしの動画から時間的順序を検証する、教師なし表現学習手法「Shuffle and Learn」を提案する。ラベルなしの生動画から学習することで、モデルは動きやポーズに敏感な特徴を捉え、アクション認識（UCF101、HMDB51）において最先端の性能を達成し、ポーズ推定（FLIC、MPII）においても競争力のある結果を示しており、一部のベンチマークでは教師あり事前学習を上回ることすらある。

ABSTRACT

In this paper, we present an approach for learning a visual representation from the raw spatiotemporal signals in videos. Our representation is learned without supervision from semantic labels. We formulate our method as an unsupervised sequential verification task, i.e., we determine whether a sequence of frames from a video is in the correct temporal order. With this simple task and no semantic labels, we learn a powerful visual representation using a Convolutional Neural Network (CNN). The representation contains complementary information to that learned from supervised image datasets like ImageNet. Qualitative results show that our method captures information that is temporally varying, such as human pose. When used as pre-training for action recognition, our method gives significant gains over learning without external data on benchmark datasets like UCF101 and HMDB51. To demonstrate its sensitivity to human pose, we show results for pose estimation on the FLIC and MPII datasets that are competitive, or better than approaches using significantly more supervision. Our method can be combined with supervised representations to provide an additional boost in accuracy.

研究の動機と目的

• 意味のある視覚的表現を、意味的アノテーションなしに生動画から学ぶこと。
• 時間的順序の検証を用いた教師なし学習が、動きやポーズ情報を捉えられるかどうかを調査すること。
• このような教師なし表現が、教師あり事前学習（例：ImageNet）と補完的であるかどうかを評価すること。
• アクション認識や人体ポーズ推定のような下流タスクにおけるこの手法の有効性を示すこと。
• 時間的順序の検証が、大規模な教師ありデータセットのものと同等またはそれ以上の性能を持つ表現を生成できるかどうかを検討すること。

提案手法

• 教師なし学習を二値分類タスクとして定式化：動画フレームの順序が正しいかどうかを予測する。
• 畳み込みニューラルネットワーク（CNN）を用いて各フレームから特徴を抽出し、シーケンスが有効かシャッフル済みかを分類する。
• 対照的なタプル（正例：正しい順序、負例：シャッフル済み順序）を用いて、ランダム初期化からエンドツーエンドでCNNを訓練する。
• 学習された表現を、アクション認識やキーポイント推定のような下流タスクの事前学習手法として適用する。
• 教師なし表現と教師あり事前学習（例：ImageNet）を組み合わせることで、さらに性能を向上させる。
• 標準的な訓練プロトコルを適用し、クロスエントロピー損失と標準的な最適化法（例：AdaGrad）を用いて、下流データセットでの微調整を行う。

実験結果

リサーチクエスチョン

• RQ1 動画における時間的順序の検証が、意味的ラベルなしで有用な視覚的表現を学習できるか？
• RQ2 学習された表現が、人体の配置などの動きやポーズ関連情報を取り込んでいるか？
• RQ3 アクション認識およびポーズ推定において、教師なし手法の性能が教師あり事前学習（例：ImageNet）と比べてどうなるか？
• RQ4 教師なし表現を教師あり表現と組み合わせることで、さらに精度を向上させられるか？
• RQ5 表現が、物体の動きや人体ポーズの変化といった時間的ダイナミクスに敏感か？

主な発見

• 提案手法は、HMDB51で78.8%のトップ1正解率、UCF101で93.8%を達成し、ランダム初期化を上回り、一部の教師ありベースラインと同等またはそれを上回る性能を示した。
• FLICデータセットではPCKスコア84.7%を達成し、完全に教師ありのUCF101事前学習を7.6ポイント上回った。
• MPIIデータセットではPCKh@0.5スコア47.6%を達成し、教師ありUCF101事前学習を2.1ポイント上回った。
• 教師なし表現とImageNet事前学習を組み合わせると、MPIIでPCKh@0.5スコア49.5%を達成し、ImageNet単体の結果より2.3ポイント向上した。
• 教師なし表現はImageNetと補完的であり、他の教師ありソースと組み合わせても、下流タスクの性能向上に寄与できる。
• 定性的な分析から、モデルが人体ポーズや時間的ダイナミクス（例：体の変形や運動パターン）に敏感な表現を学習していることが確認された。