[論文レビュー] Single-Shot Clothing Category Recognition in Free-Configurations with Application to Autonomous Clothes Sorting

Li Sun, Gerardo Aragón-Camarasa+3 more|arXiv (Cornell University)|Jul 22, 2017

Industrial Vision Systems and Defect Detection参考文献 17被引用数 5

ひとこと要約

本論文は、2.5次元深度データと、B-Splineパッチ（BSP）およびトポロジー空間距離（TSD）という新規の視覚特徴を用いたワンショット衣類カテゴリ認識システムを提案する。これらの特徴は局所制約付き線形符号化（LLC）により符号化され、未学習の衣類アイテムにおいて自由な配置下で83.2%の精度を達成し、先行研究比36.2%の向上を示し、二本のアームを備えたロボットによる自律的衣類分類を可能にした。

ABSTRACT

This paper proposes a single-shot approach for recognising clothing categories from 2.5D features. We propose two visual features, BSP (B-Spline Patch) and TSD (Topology Spatial Distances) for this task. The local BSP features are encoded by LLC (Locality-constrained Linear Coding) and fused with three different global features. Our visual feature is robust to deformable shapes and our approach is able to recognise the category of unknown clothing in unconstrained and random configurations. We integrated the category recognition pipeline with a stereo vision system, clothing instance detection, and dual-arm manipulators to achieve an autonomous sorting system. To verify the performance of our proposed method, we build a high-resolution RGBD clothing dataset of 50 clothing items of 5 categories sampled in random configurations (a total of 2,100 clothing samples). Experimental results show that our approach is able to reach 83.2\% accuracy while classifying clothing items which were previously unseen during training. This advances beyond the previous state-of-the-art by 36.2\%. Finally, we evaluate the proposed approach in an autonomous robot sorting system, in which the robot recognises a clothing item from an unconstrained pile, grasps it, and sorts it into a box according to its category. Our proposed sorting system achieves reasonable sorting success rates with single-shot perception.

研究の動機と目的

• 従来のRGBまたはエッジベース特徴が、隠蔽や変形のため機能しない、任意のしわくちゃの配置下での衣類カテゴリ認識の課題に対処すること。
• 視覚的コンポーネント（例：服の種類、硬さ）に起因する隠蔽に弱いセマンティックコンポーネントではなく、素材特性（例：生地種別、剛性）を捉える、耐障害性の高い視覚表現を開発すること。
• 大規模なディープラーニングに依存せず、限られた学習データでの実世界のロボットシステムにおけるワンショット認識を可能にすること。
• 認識パイプラインを二本のアームを備えたロボットシステムに統合し、認識と操作のサイクル数を最小限に抑える自律的衣類分類を実現すること。
• 50種類の未学習の衣類アイテム（5カテゴリ）からなる高解像度RGBDデータセットを用いて、性能を検証すること。

提案手法

• 高解像度のロボットヘッドによる2.5次元ステレオ深度データを用いて、幾何的表面特徴を抽出する。
• 局所的およびグローバルな形状特徴を耐障害性高く表現するため、B-Splineパッチ（BSP）およびトポロジー空間距離（TSD）という2つの新規特徴を提案する。
• 局所的BSP特徴は、識別性能を向上させるために局所制約付き線形符号化（LLC）により符号化される。
• 符号化された局所特徴は、3つのグローバル特徴（LBP、SI、TSD）と融合され、カテゴリ識別性能が向上する。
• 分類にはRBFカーネルを用いたサポートベクターマシン（SVM）を用い、対数尤度最大化により最適化される。
• 認識パイプラインは、ステレオビジョン、衣類インスタンス検出、二本のアームによる操作と統合され、自律的分類が実現される。

実験結果

リサーチクエスチョン

• RQ1 2.5次元深度データのみを用いて、任意のしわくちゃの配置下の衣類カテゴリをワンショット認識で高精度に分類できるか？
• RQ2 BSPおよびTSD特徴表現は、FINDDD+BoFのような既存手法と比較して、クラス内変動および隠蔽に対してどれほど耐性があるか？
• RQ3 学習時に見られなかった衣類アイテムやカテゴリへの一般化能力は、どの程度高いか？
• RQ4 認識パイプラインは、実際のロボットシステムに統合可能で、衣類のワンショット分類を自律的に行えるか？
• RQ5 センサの品質（例：ロボットヘッド vs. 標準的な深度カメラ）が、制約のない環境下での認識精度に与える影響は何か？

主な発見

• 提案手法は、事前に学習されていない衣類アイテムにおいて83.2%の分類精度を達成し、先行研究の47%から36.2%の向上を示した。
• ロボットヘッドセンサはAsus Xtionを上回り、同じデータセットで83.2%の精度を達成した（Asus Xtionでは64.2%）。これは、より高品質な深度マップによるものである。
• L-S-T-B特徴表現（BSP、LLC、TSDの組み合わせ）が最高の精度を示し、基準手法のFINDDD+BoFを19ポイント上回った。
• 二本のアームを備えたロボットシステムは、全体で66%（50件中33件）の成功率を達成したが、シャツの分類で失敗率が高かった。これは、クラス内での類似性が低いことが要因である。
• 失敗の主な原因は、視覚的に類似したアイテムのセグメンテーション誤り、大きな衣類での隠蔽、および操作中の変形である。
• 本システムは実環境での運用において耐障害性を示し、ワンショット認識に続く反復的グリッピングを可能にし、従来手法と比較して認識と操作のサイクル数を削減した。