[論文レビュー] Unsupervised Learning of Spatiotemporally Coherent Metrics

Ross Goroshin, Joan Bruna+3 more|arXiv (Cornell University)|Dec 18, 2014

Anomaly Detection Techniques and Applications参考文献 20被引用数 11

ひとこと要約

この論文では、遅さとスパarsityの事前分布を用いて正則化された畳み込みプーリングオートエンコーダを用いて、ラベルなし動画から空間的・時間的に一貫性のある視覚的特徴を学ぶ非教師あり深層学習手法を提案する。遅い特徴学習とメトリック学習を結びつけることで、自動的なハイパーパramータチューニングが可能となり、より意味的に一貫性のあるメトリックを定義する特徴が得られ、時間的およびクラスベースの検索タスクでベースライン手法を上回る性能を発揮する。

ABSTRACT

Current state-of-the-art classification and detection algorithms rely on supervised training. In this work we study unsupervised feature learning in the context of temporally coherent video data. We focus on feature learning from unlabeled video data, using the assumption that adjacent video frames contain semantically similar information. This assumption is exploited to train a convolutional pooling auto-encoder regularized by slowness and sparsity. We establish a connection between slow feature learning to metric learning and show that the trained encoder can be used to define a more temporally and semantically coherent metric.

研究の動機と目的

• タスク固有の監視なしに、ラベルなし動画から汎用的で意味的に明確な視覚的表現を学ぶこと。
• 時間的整合性を弱い監視信号として用いることで、非教師あり特徴学習における不変性と識別性のバランスをとる課題に対処すること。
• 遅い特徴学習とメトリック学習の関係を活用することで、非教師あり表現学習におけるハイパーパramータ選択を原理的かつ自動化する手法を確立すること。
• 再構成、遅さ、スパarsityを同時に最適化することで、時間的整合性のみを最適化する場合よりも、より意味的に一貫性のある特徴が得られることを示すこと。

提案手法

• 局所的変形に対して不変性を誘導するため、重み共有と局所プーリングを用いた畳み込みプールオートエンコーダとして非教師あり特徴学習を定式化する。
• 時間的に隣接するフレームの再構成誤差を最小化することで、時間的整合性を促進する再構成に基づく対照的項を導入する。
• 学習された特徴にスパarsityと遅さの事前分布を適用し、遅さは時間的安定性を、スパarsityは識別性を促進する。
• 2段階の訓練手順を採用する：まず遅さとスパarsityを含む浅いオートエンコーダを訓練し、その後同じ目的関数を用いて深層層を積み上げて階層的表現を構築する。
• 再構成誤差、スパarsity正則化、遅さペナルティを組み合わせた修正された損失関数を用い、不変性と識別性のバランスをとる。
• 遅い特徴分析とメトリック学習の間の新しい接続を導入し、時間的整合性に基づいた原理的なハイパーパramータチューニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし動画シーケンスにおける時間的整合性を、汎用的で意味的に明確な視覚的特徴を学ぶ弱い監視信号として活用できるか？
• RQ2 非教師あり特徴学習における不変性（遅さ）と識別性のトレードオフを、原理的かつ自動的にバランスさせられるか？
• RQ3 再構成、遅さ、スパarsityの事前分布を併用することで、時間的整合性のみを最適化する場合よりも、より意味的に一貫性のある特徴が得られるか？
• RQ4 得られた特徴が、ラベルを一切使用せずに時間的およびクラスベースの検索タスクの性能を向上させるメトリックを定義できるか？

主な発見

• 提案手法は、1層のDrLIMおよびグループスパarsityベースラインに対して、時間的およびクラスベースの検索の両方で優れた精度再現率性能を達成し、上回った。
• 再構成、遅さ、スパarsity正則化を共同で訓練した2層特徴は、時間的整合性が最も高く、時間的整合性のみを最適化したモデルやグループスパarsityを用いたモデルを著しく上回った。
• 提案手法で学習された特徴は、DrLIMと比較して、近傍の特徴同士の視覚的および意味的類似度が高かったが、DrLIMは高い時間的整合性を示したにもかかわらず、視覚的に一貫性のない最近傍特徴を生成した。
• CIFAR-10の検索タスクにおいて、非教師ありモデルの2層目は1層目よりも性能が悪く、適切な正則化がなければ深層部が識別力を失う可能性があることを示した。
• モデルの1層目の特徴は、CIFAR-10で高再現率の状況下で、教師あり4層ConvNetの1層目と同等の性能を示し、優れた転移性を示した。
• 個々のスパarsity事前分布の導入は時間的整合性を低下させたため、プールド特徴における時間的構造を保持するには、グループレベルのスパarsityがより効果的であることが示された。