[論文レビュー] Sparse Coding on Stereo Video for Object Detection

Sheng Y. Lundquist, Melanie Mitchell+1 more|arXiv (Cornell University)|May 19, 2017

Video Surveillance and Tracking Methods参考文献 20被引用数 4

ひとこと要約

本稿では、ラベルなしデータを用いて深さ選択性を持つ特徴を学習する非教師ありスパースコーディングを、深層畳み込みニューラルネットワーク（DCNN）の最初の層に統合することで、ステレオ動画における物体検出の性能を向上させることを提案する。この手法は、限られたラベル付きデータでの学習において、完全に教師ありのDCNNを上回り、ランダムな初期化や学習データの順序に依存しない一貫性のある性能を示す。また、スパースコーディング特徴は、標準的な畳み込み層に見られない固有の深さ選択性を示している。

ABSTRACT

Deep Convolutional Neural Networks (DCNN) require millions of labeled training examples for image classification and object detection tasks, which restrict these models to domains where such datasets are available. In this paper, we explore the use of unsupervised sparse coding applied to stereo-video data to help alleviate the need for large amounts of labeled data. We show that replacing a typical supervised convolutional layer with an unsupervised sparse-coding layer within a DCNN allows for better performance on a car detection task when only a limited number of labeled training examples is available. Furthermore, the network that incorporates sparse coding allows for more consistent performance over varying initializations and ordering of training examples when compared to a fully supervised DCNN. Finally, we compare activations between the unsupervised sparse-coding layer and the supervised convolutional layer, and show that the sparse representation exhibits an encoding that is depth selective, whereas encodings from the convolutional layer do not exhibit such selectivity. These result indicates promise for using unsupervised sparse-coding approaches in real-world computer vision tasks in domains with limited labeled training data.

研究の動機と目的

• 物体検出のための深層学習モデルが、大量の人的ラベル付き学習データを必要とすることの制限を解消すること。
• ラベルが限られたステレオ動画データに対して非教師ありスパースコーディングを適用することで、性能が向上するかを調査すること。
• スパースコーディングに基づくネットワークのランダムな初期化や学習データの順序に対するロバスト性を評価すること。
• スパースコーディング層で学習された特徴の性質を分析し、教師あり畳み込み層との特徴を比較すること。
• スパースコーディングの活性化に現れる深さ選択性が、物体検出性能の向上に寄与しているかどうかを特定すること。

提案手法

• ラベルを使用せずにステレオ動画データ上で学習された非教師ありスパースコーディング層で、DCNNの最初の畳み込み層を置き換える。
• 辞書学習アルゴリズムを用いて、ステレオ画像パッチのスパースかつ重複のない表現を推定し、L1正則化によりスパarsityを強制する。
• その後続層を、少数のラベル付き例のみを用いて教師ありの方法で訓練する。
• 完全に教師あり、非教師あり先行、ファインチューニングの各アーキテクチャを比較する。
• スパースコーディング層の非ゼロ活性化数と一致させるために、畳み込み層の活性化にしきい値を適用し、スパarsityを制御する。
• 特徴マップを可視化・分析し、学習されたフィルタにおける両眼視差のずれを観察することで、深さ選択性を評価する。

実験結果

リサーチクエスチョン

• RQ1 ラベルが限られたステレオ動画データに対して非教師ありスパースコーディングを適用することで、物体検出性能が向上するか？
• RQ2 異なるランダムな初期化や学習データの順序において、スパースコーディングベースのネットワークの性能の一貫性は、完全に教師ありDCNNと比べてどうか？
• RQ3 スパースコーディング特徴は深さ選択性を示すか？ もし示す場合、標準的な畳み込み特徴とはどのように異なるか？
• RQ4 ラベル付きデータが限られる状況下で、非教師ありスパースコーディング層を含むネットワークは、教師あり最初の層を含むネットワークよりも一般化性能が優れているか？
• RQ5 スパースコーディング特徴に観察された深さ選択性が、車両検出タスクにおける性能向上の主な要因であるか？

主な発見

• スパースコーディングネットワーク（SparseUnsup）は、全ラベル付きネットワーク（ConvSup）よりも、全テストされたネットワーク深さにおいて平均AUCスコアが高く、特に100例のラベルしか利用しない状況で顕著な優位性を示した。
• SparseUnsupは6回のランダム実行において、性能のばらつきが著しく小さく（AUC範囲：0.004–0.014）、初期化やデータ順序に依存しない高いロバスト性を示した。これに対してConvSupはAUC範囲が0.021–0.086と大きく、ばらつきが顕著だった。
• スパースコーディング層の活性化は深さ選択性を示した：近距離にチューニングされたフィルタは、近距離特徴に対応する大きな両眼視差のずれを示したのに対し、遠距離にチューニングされたフィルタはずれがなく、深さコードの存在を示した。
• これに対して、畳み込み層（たとえスパarsityを制御しても）は深さ選択性を示さず、複数の深さで活性化が発生した。
• SparseUnsupの性能優位性は、2層ネットワークで顕著に現れ、ラベル付きデータが極めて少ない状況で、非教師あり事前学習がデータ効率を高めることを示唆した。
• 本研究は、限られたデータ環境下でのステレオ動画物体検出において、スパースコーディングによる深さ選択性の特徴学習が強力なインダクティブバイアスとなり得ることを確認した。