[論文レビュー] Semantic Segmentation from Limited Training Data

Anton Milan, Trung Pham+23 more|arXiv (Cornell University)|Sep 22, 2017

Advanced Neural Network Applications参考文献 35被引用数 5

ひとこと要約

本論文は、限られたトレーニングデータを用いて、ごみくずだらけで構造のない環境におけるロボットの認識のための2つのセマンティックセグメンテーション手法を提示する—ディープメトリックラーニング（DML）とファインチューニングされたReFineNet。DML手法はピクセル単位の埋め込みと投票を用いてゼロショット適応を実現するが、一方ReFineNetは1つの新規オブジェクトあたりたった7枚の画像で高い精度を達成し、Amazon Robotics Challenge 2017での迅速な展開を可能にした。

ABSTRACT

We present our approach for robotic perception in cluttered scenes that led to winning the recent Amazon Robotics Challenge (ARC) 2017. Next to small objects with shiny and transparent surfaces, the biggest challenge of the 2017 competition was the introduction of unseen categories. In contrast to traditional approaches which require large collections of annotated data and many hours of training, the task here was to obtain a robust perception pipeline with only few minutes of data acquisition and training time. To that end, we present two strategies that we explored. One is a deep metric learning approach that works in three separate steps: semantic-agnostic boundary detection, patch classification and pixel-wise voting. The other is a fully-supervised semantic segmentation approach with efficient dataset collection. We conduct an extensive analysis of the two methods on our ARC 2017 dataset. Interestingly, only few examples of each class are sufficient to fine-tune even very deep convolutional neural networks for this specific task.

研究の動機と目的

• 限られたトレーニングデータを用いて、ごみくずだらけで構造のない倉庫環境におけるロボットのオブジェクトピッキングのための頑健な認識システムを開発すること。
• コンペティションの45分前までに提示された未学習のオブジェクトカテゴリに対処すること。
• 数分間のデータ収集とトレーニングのみで、ディープニューラルネットワークの迅速な適応を可能にすること。
• 現実世界のロボット認識におけるゼロショットディープメトリックラーニングと少サンプルの教師ありファインチューニングの性能を比較すること。

提案手法

• クラスに依存しない境界検出、学習済み特徴埋め込みによるピクセル単位の分類、最終的なセグメンテーションのためのピクセル単位の投票を含む3段階のディープメトリックラーニング（DML）パイプラインを提案。
• 同じオブジェクトの画像ピクセルを低次元特徴空間内で近接するようにマップするメトリックラーニングフレームワークを採用し、最近傍分類が可能になる。
• 初期セグメンテーションにはRGB-D入力を、境界検出にはHHA特徴を用い、深度補間を適用して耐障害性を向上。
• エンドツーエンドのセマンティックセグメンテーションを実現するため、ReFineNet（深層畳み込みニューラルネットワーク）を採用し、1オブジェクトあたり7ビューのみでファインチューニング。
• 効率的なデータ収集戦略を実装：1オブジェクトあたり7ビューを撮影し、半自動セグメンテーションを用いてピクセル単位のマスクを生成。
• 主な評価指標としてF0.5スコア（重み付きF1）を採用し、ロボット操作におけるグリップ成功の実態をよりよく反映させるために再現率を精度よりも重視。

実験結果

リサーチクエスチョン

• RQ1 新しいオブジェクトカテゴリが導入された際に、再トレーニングなしでディープメトリックラーニングが頑健なセマンティックセグメンテーションを実現できるか？
• RQ2 限られたトレーニングデータを用いたロボット認識におけるセマンティックセグメンテーションにおいて、ディープニューラルネットワーク（例：ReFineNet）の少サンプルファインチューニングはどの程度効果的か？
• RQ3 時間効率とセグメンテーション精度の両立を考慮した場合、1オブジェクトあたりの最適なトレーニング画像枚数は何か？
• RQ4 現実世界の設定において、シーンのごみくず度（オブジェクト数）が少サンプルセマンティックセグメンテーションモデルの性能に与える影響は？
• RQ5 1クラスあたりのトレーニング例の数とセグメンテーション性能の相関関係はどの程度か？あるいは、外観が主な要因となるのか？

主な発見

• DML手法は1分間の推論時間でF0.5スコア0.59を達成したが、COBベースのセグメンテーションにノイズが含まれていたため性能が制限された。完全なセグメンテーションが可能であれば、F0.5は0.85に達した。
• 完全に教師ありのReFineNetアプローチは1オブジェクトあたり7枚の画像でF0.5スコア0.62を達成し、DMLを上回り、最終コンペティションシステムに採用された。
• 性能は1クラスあたりのトレーニングサンプル数と相関しなかった。外観と視覚的明確さがデータ量よりもより大きな影響を及ぼした。
• F0.5指標はF1よりもグリップ可能性をよりよく捉えており、再現率の低さを強くペナルティ付けるため、ロボット操作の目的と整合的である。
• シーンの clutter 度が増すにつれて性能は単調に低下し、1シーンあたりのアイテム数が1から20に増えると、F0.5スコアは約0.85から約0.45に低下した。
• 1オブジェクトあたり7枚の画像が、データ収集時間と性能の両立において最適なバランスを提供した。12枚を超えると利得が減少した。