[論文レビュー] Unsupervised Representation Learning by Sorting Sequences

Hsin-Ying Lee, Jia‐Bin Huang+2 more|arXiv (Cornell University)|Aug 3, 2017

Human Pose and Action Recognition参考文献 39被引用数 27

ひとこと要約

この論文は、時間的にシャッフルされた動画フレームを時系列順に並べ替えることを目的とした教師なし表現学習手法を提案している。時間的整合性を自己教師信号として活用することで、畳み込みニューラルネットワークを訓練し、行動認識、画像分類、物体検出のベンチマークで最先端の手法を上回る汎用的な視覚的表現を学習する。順序予測ネットワーク（OPN）を用いたペアワイズ特徴抽出により、事前学習として使用された際、最先端の性能を達成する。

ABSTRACT

We present an unsupervised representation learning approach using videos without semantic labels. We leverage the temporal coherence as a supervisory signal by formulating representation learning as a sequence sorting task. We take temporally shuffled frames (i.e., in non-chronological order) as inputs and train a convolutional neural network to sort the shuffled sequences. Similar to comparison-based sorting algorithms, we propose to extract features from all frame pairs and aggregate them to predict the correct order. As sorting shuffled image sequence requires an understanding of the statistical temporal structure of images, training with such a proxy task allows us to learn rich and generalizable visual representation. We validate the effectiveness of the learned representation using our method as pre-training on high-level recognition problems. The experimental results show that our method compares favorably against state-of-the-art methods on action recognition, image classification and object detection tasks.

研究の動機と目的

• ラベルなしの動画を用いて、意味的アノテーションを必要としない自己教師型表現学習手法を開発すること。
• 動画シーケンス内の時間的整合性を、豊かな視覚的特徴を学習するための教師信号として活用すること。
• 行動認識、画像分類、物体検出などの下流タスクにおける汎用性と性能向上を図ること。
• 順序の並べ替えタスクを効果的に解けるように設計された神経ネットワークアーキテクチャ（順序予測ネットワーク：OPN）を考案すること。
• シーケンスの並べ替えによる教師なし事前学習が、教師あり事前学習と比較して競争力のある性能を示すかどうかを検証すること。

提案手法

• 表現学習を、ランダムにシャッフルされたフレームのタプルが与えられた際、正しい時系列順序を予測するタスクとして定式化する。
• 順序予測ネットワーク（OPN）を提案し、すべてのフレームペアの組み合わせから特徴を抽出し、それらを統合して相対的な順序を予測する。
• 各フレームペアの特徴を抽出するためのシアンズ型の二重ブランチアーキテクチャを採用し、その後に順序の正しい順序を予測するための統合モジュールを設ける。
• 色のバイアスを低減するため、各フレームから代表的なチャンネルを1つ選択するチャネルスプリットを適用することで、一般化性能を向上させ、色に特化したフィルタの学習を回避する。
• 大規模かつ弱いアノテーションが付与された動画コレクション（例：UCF-101）でモデルを事前学習し、限られたラベル付きデータで下流タスクに微調整する。
• 標準ベンチマークを用いて評価する：行動認識にはUCF-101とHMDB-51、画像分類および検出にはPASCAL VOC 2007を使用する。

実験結果

リサーチクエスチョン

• RQ1 シャッフルされた動画シーケンスにおける時間的順序予測は、汎用的な視覚的表現を学習するための効果的な自己教師型代理タスクとして機能するか？
• RQ2 OPNアーキテクチャにおけるペアワイズ特徴抽出は、フレーム特徴の単純な連結に比べて、より優れた性能をもたらすか？
• RQ3 シーケンスの並べ替えによる教師なし事前学習が、教師あり事前学習と比較して、下流の認識タスクで競争力のある性能を達成できるか？
• RQ4 学習に使用する動画の数が、学習された表現の質にどのように影響するか？
• RQ5 学習された特徴が、何らの監視なしに、人間の体や物体の一部といった意味的なパターンをどれほど的確に捉えているか？

主な発見

• 提案手法は、UCF-101およびHMDB-51の行動認識ベンチマークにおいて、事前学習として使用された際、最先端の自己教師型手法を上回る性能を示した。
• UCF-101で1,000本の動画のみを用いて教師なし事前学習した場合、[24]の手法を上回る性能を達成した。
• PASCAL VOC 2007データセットでは、画像分類および物体検出において、教師ありベースラインに近い競争力のある結果を達成した。
• ペアワイズ特徴抽出を用いたOPNは、特に長いシーケンス（4フレームタプル）において、単純な連結に比べて順序予測の正確性と下流タスクの性能が向上した。
• conv1フィルタの可視化により、チャネルスプリットが無効な「色のパッチ」フィルタの数を減らし、微調整時の挙動が改善されたことが示された。
• VOC 2007のPool5特徴活性化は、人間の頭部や車両の部品といった意味的な領域を検出しており、何らの監視なしに、意味的に関連する特徴を学習していることが示された。