[論文レビュー] Clustering Learning for Robotic Vision

Eugenio Culurciello, Jordan Bates+3 more|arXiv (Cornell University)|Jan 13, 2013

Advanced Image and Video Retrieval Techniques参考文献 26被引用数 3

ひとこと要約

本論文は、標準的な畳み込みの代わりに距離に基づくフィルタリングを用いることで、リアルタイムのロボットビジョン向けに高速で教師なしの方法で深層ニューラルネットワークを訓練するためのクラスタリング学習（CL）を提案する。CLで訓練されたネットワークは、標準的なハードウェアでもリアルタイム性能（5–10 fps）を達成し、静的画像ベンチマークでは低い精度を示すものの、オブジェクト追跡タスクではより大きな教師ありネットワークを上回る性能を示した。

ABSTRACT

We present the clustering learning technique applied to multi-layer feedforward deep neural networks. We show that this unsupervised learning technique can compute network filters with only a few minutes and a much reduced set of parameters. The goal of this paper is to promote the technique for general-purpose robotic vision systems. We report its use in static image datasets and object tracking datasets. We show that networks trained with clustering learning can outperform large networks trained for many hours on complex datasets.

研究の動機と目的

• リアルタイムのロボットビジョンシステムに適した、高速で教師なしの深層ニューラルネットワークのトレーニング手法を開発すること。
• トレーニング時間とモデルの複雑さを削減しながら、オブジェクト追跡のような動的ビジョンタスクの性能を維持すること。
• 特にデータが少ないか、リアルタイム要件がある状況において、教師あり事前学習の代替としてクラスタリング学習が有効であるかを評価すること。
• 距離に基づくフィルタリングが、効率的でリアルタイムの推論に適した、標準的な畳み込み演算の代替として機能できるかを示すこと。
• ロボット研究者が機械学習の専門知識を最小限に抑えながら、深層ネットワークを容易にデプロイできるオープンソースツールを提供すること。

提案手法

• 教師なしのクラスタリングアルゴリズムを用いて、深層順方向ネットワークにおける線形フィルタ重みを学習し、ラベルなしデータでの迅速なトレーニングを可能にした。
• 標準的な畳み込み演算の代わりに距離に基づくフィルタリングを採用し、計算複雑性を低減し、効率性を向上させた。
• 計算コストを削減しながら性能を維持するために、ZCAホワイトニングの代わりに局所コントラスト正規化を入力データの前処理に用いた。
• Torch7を用いてCIFAR10およびSVHNデータセットでネットワークをトレーニングし、最小限のハイパーパramータチューニングで数分で100%のトレーニング精度を達成した。
• コンsumerハードウェア上でリアルタイム推論に最適化された、4層構造の深層ネットワークアーキテクチャを設計し、プーリングと正規化を組み込んだ。
• オブジェクト追跡のためのTLDデータセットを用いて性能を評価し、単一オブジェクトの提示により汎化性能と耐障害性をテストした。

実験結果

リサーチクエスチョン

• RQ1 クラスタリング学習は、リアルタイムのロボットビジョンシステムに十分な速さで深層ニューラルネットワークをトレーニングできるか？
• RQ2 静的ベンチマークでは精度が低いにもかかわらず、クラスタリング学習は動的追跡タスクにおいてより大きな教師ありネットワークを上回る性能を示せるか？
• RQ3 距離に基づくフィルタリングは、ロボットビジョン用途において標準的な畳み込みよりも効率的で効果的であるか？
• RQ4 初期層での教師なしクラスタリングで十分な性能が得られ、後続層でランダムフィルタを使用しても良いのか？
• RQ5 CLネットワークの推論速度と精度は、標準データセットにおける最先端の教師ありネットワークと比べてどの程度か？

主な発見

• クラスタリング学習ネットワークは、標準的なラップトップハードウェアで5–10フレーム／秒の性能を達成し、リアルタイム動作を可能にした。
• TLDオブジェクト追跡ベンチマークにおいて、CLネットワークはより大きな教師ありCNNを上回り、ロボットタスクにおける優れた汎化性能を示した。
• SVHNでは89%の精度、CIFAR10では50%の精度を達成したが、これは、トレーニング時間とモデルサイズが非常に小さいことを考慮すれば妥当な水準であった。
• 距離に基づくフィルタリングは、特にリアルタイムシステムにおいて、標準的な畳み込みよりも効果的であることが判明した。
• ZCAホワイトニングの代わりに局所コントラスト正規化を用いることで、計算コストを削減しながら性能に影響を与えないことが確認され、ロボット用途においてより実用的になった。
• 後続層でのランダムフィルタが学習済みフィルタと同等の性能を示したため、有効な特徴抽出のためには最初の層でのみクラスタリングによる学習が必要であることが示唆された。