[論文レビュー] Glasgow's Stereo Image Database of Garments

Gerardo Aragón-Camarasa, Susanne Oehler+4 more|arXiv (Cornell University)|Nov 28, 2013

3D Shape Modeling and Analysis参考文献 3被引用数 7

ひとこと要約

本論文では、16種類の既成品の衣類を5つのポーズ設定でアクティブなステレオバイノキュラー・ロボットヘッドを用いて撮影した、高解像度ステレオペア画像からなるグラスゴーの衣類ステレオ画像データベースを提示する。このデータセットには、キャリブレート済みステレオ画像、視差マップ、マスクアノテーション、キャリブレーションパラメータが含まれており、3次元点群再構築を可能にするとともに、ロボットによる衣類操作における非剛体対象の認識およびステレオマッチングアルゴリズムのベンチマークとして機能する。

ABSTRACT

To provide insight into cloth perception and manipulation with an active binocular robotic vision system, we compiled a database of 80 stereo-pair colour images with corresponding horizontal and vertical disparity maps and mask annotations, for 3D garment point cloud rendering has been created and released. The stereo-image garment database is part of research conducted under the EU-FP7 Clothes Perception and Manipulation (CloPeMa) project and belongs to a wider database collection released through CloPeMa (www.clopema.eu). This database is based on 16 different off-the-shelve garments. Each garment has been imaged in five different pose configurations on the project's binocular robot head. A full copy of the database is made available for scientific research only at https://sites.google.com/site/ugstereodatabase/.

研究の動機と目的

• 非剛体で変形しやすい衣類のような物体に対して、ステレオマッチングおよび3次元再構築アルゴリズムを評価するためのベンチマークデータセットを構築すること。
• 特に自動洗濯物分類およびたたみ作業を想定した、ロボットによる衣類認識および操作に関する研究を支援すること。
• 研究目的での利用を想定した、公開可能で高品質なステレオ画像データベースを提供すること。このデータベースには、真値の視差マップとマスクアノテーションが付随する。
• 現実世界の混雑した環境におけるテキスタイルを対象とした、アクティブなステレオバイノキュラー視覚システムの開発を可能にすること。
• ROSおよびGPUアクセラレーション処理を用いたロボットシステムにおける、ステレオマッチングおよび3次元再構築パイプラインの統合を促進すること。

提案手法

• 本データベースは、PTU-D46パン・チルトユニットに搭載された2台のニコン D5100 DSLRカメラを用いた、独自開発のアクティブステレオバイノキュラー・ロボットヘッドを用いて収集された。カメラ間の基準距離は30 cmである。
• ステレオペア画像は、1600万画素（4928 × 3264）の24ビットカラーTIFF形式で、ソフトウェア制御による同期で撮影された。
• グラスゴーのステレオマッチャーを用いて水平方向および垂直方向の視差マップを計算し、7zip圧縮形式のASCIIテキスト行列形式で保存された。
• GIMP 2.8を用いた手動セグメンテーションにより、左・右画像それぞれに対して高解像度のバイナリマスクアノテーションが作成され、ステレオペアと正確に整合した。
• カメラキャリブレーションパラメータ（K、D、P、F）が計算され、左・右カメラそれぞれのOpenCV互換XML形式で保存された。
• MATLABベースの再構築ツールが含まれており、視差マップから3次元点群を生成可能で、再現性を確保するためのソースコードも提供された。

実験結果

リサーチクエスチョン

• RQ1 ポーズ設定が異なる状況下で、非常に変形しやすい非剛体な織物対象に対して、ステレオマッチングアルゴリズムはどの程度の性能を示すか？
• RQ2 視差マップとマスクアノテーションは、複雑な衣類の形状に対して、3次元再構築の正確性をどの程度向上させるか？
• RQ3 キャリブレーション済みでアクティブなステレオバイノキュラー・ロボットヘッドシステムは、ロボット操作タスクに適した一貫性があり高解像度のステレオデータを生成できるか？
• RQ4 実世界の衣類におけるテクスチャの変化、反射性の違い、複雑な折りたたみに対しても、グラスゴーのステレオマッチャーはどの程度の効果を発揮するか？
• RQ5 マスクを用いた視差計算は、得られる3次元レンジ画像の品質と信頼性にどのような影響を与えるか？

主な発見

• 本データセットには、80枚の高解像度ステレオペア画像（16種類の衣類 × 5ポーズ）が含まれており、それぞれに水平方向および垂直方向の視差マップとマスクアノテーションが付随する。
• 視差マップはグラスゴーのステレオマッチャーを用いて計算され、ASCII形式の4928 × 3264の浮動小数点行列として保存された。
• マスクアノテーションはGIMP 2.8を用いて手動で作成され、視差計算の精度向上を図るためにステレオ画像とピクセル単位で正確に一致させた。
• カメラキャリブレーションパラメータ（内挿行列K、歪み係数D、投影行列P、基本行列F）は、OpenCV互換XMLファイル形式で保存された。
• 提供されたMATLABベースのソフトウェアにより、視差マップから3次元点群再構築が可能であり、ロボットシステムへの統合に向けたソースコードも利用可能である。
• 本データセットは、https://sites.google.com/site/ugstereodatabase/ にて研究目的で公開されており、ロボットビジョンおよび衣類認識分野における再現可能性のある研究を支援する。