[論文レビュー] 3D AffordanceNet: A Benchmark for Visual Object Affordance Understanding

Shengheng Deng, Xun Xu+3 more|arXiv (Cornell University)|Mar 30, 2021

Advanced Vision and Imaging参考文献 32被引用数 4

ひとこと要約

本稿では、スパARSEキーポイントからのラベル伝播を用いて18種類の視覚的アフォーダンスタイプをアノテートした23種類のカテゴリにまたがる3D形状22,949点の大型スケールベンチマーク、3Dアフォーダンスネットを紹介する。これにより、フル形状、部分視点、回転不変のアフォーダンス推定という3つの新規タスクが可能となり、ポイントクラウドネットワークを用いた最先端の性能が示され、半教師あり学習がわずか1%のラベル付きデータを用いても顕著に結果を向上させることを示している。

ABSTRACT

The ability to understand the ways to interact with objects from visual cues, a.k.a. visual affordance, is essential to vision-guided robotic research. This involves categorizing, segmenting and reasoning of visual affordance. Relevant studies in 2D and 2.5D image domains have been made previously, however, a truly functional understanding of object affordance requires learning and prediction in the 3D physical domain, which is still absent in the community. In this work, we present a 3D AffordanceNet dataset, a benchmark of 23k shapes from 23 semantic object categories, annotated with 18 visual affordance categories. Based on this dataset, we provide three benchmarking tasks for evaluating visual affordance understanding, including full-shape, partial-view and rotation-invariant affordance estimations. Three state-of-the-art point cloud deep learning networks are evaluated on all tasks. In addition we also investigate a semi-supervised learning setup to explore the possibility to benefit from unlabeled data. Comprehensive results on our contributed dataset show the promise of visual affordance understanding as a valuable yet challenging benchmark.

研究の動機と目的

• 既存の2Dおよび2.5Dデータセットにおける幾何的詳細の不足に応じ、視覚的アフォーダンス理解のための大規模かつ高品質な3Dベンチマークを確立すること。
• スパARSEな人間によるキーポイントラベルから導出される確率的で点単位のスコアを用いて、23の意味的オブジェクトカテゴリにまたがる18種類の視覚的アフォーダンスカテゴリを定義およびアノテートすること。
• 実際の3Dポイントクラウドデータ上で、フル形状、部分視点、回転不変のアフォーダンス推定という3つの新規ベンチマークタスクを提案および評価すること。
• これらのタスクにおいて最先端のポイントクラウドネットワークを評価し、ラベル付きデータを最小限に抑える半教師あり学習の可能性を検討すること。
• 標準的でスケーラブルかつ現実的なベンチマークを提供することで、今後の3D視覚的アフォーダンス理解分野の研究を促進すること。

提案手法

• データセットはPartNet 3D CADデータセットから構築され、23の意味的カテゴリにまたがる23,000点以上の形状が、18種類のアフォーダンスタイプについてアノテートされている。
• アフォーダンスアノテーションは、まずオブジェクト表面にスパARSEキーポイントをラベル付けし、次にラベル伝播法を用いて密なポイントクラウドにラベルを伝播させることで作成される。
• ベンチマークは3つの評価タスクをサポートする：フル形状（全形状入力）、部分視点（部分的なポイントクラウド入力）、回転不変（任意に回転された入力）アフォーダンス推定。
• 標準的な指標（平均交差率（mIoU）、Dice係数、正答率）を用いて、3つの最先端のポイントクラウドネットワーク（例：DGCNN）がすべてのタスクで評価されている。
• 半教師あり学習の設定として、仮想敵対的訓練（VAT）を導入し、1%のデータをラベル付きとして、残りをラベルなしデータとして用いて一般化性能を向上させている。
• 損失関数は、交差エントロピー、Dice損失、および元の入力と敵対的摂動を加えた入力の予測値の平均二乗誤差を組み合わせており、ラベルなしデータに対する一貫性を強制している。

実験結果

リサーチクエスチョン

• RQ1 確率的アフォーダンススコアを有する大規模な3Dポイントクラウドベースのベンチマークは、視覚的アフォーダンス理解モデルの評価および開発を向上させることができるか？
• RQ2 最先端のポイントクラウドネットワークは、現実的な3Dシナリオにおけるフル形状、部分視点、回転不変のアフォーダンス推定タスクでどの程度の性能を示すか？
• RQ3 最小限のラベル付きデータを用いた半教師あり学習は、3D形状のアフォーダンス推定性能をどの程度向上させることができるか？
• RQ4 特定のアフォーダンスカテゴリ（例：収納家具における「収容」）は、任意の回転下でも予測が困難であるのはなぜか？
• RQ5 スパARSEな人間によるアノテーションからラベル伝播を行うことで、スケールに応じて信頼性の高い密なアフォーダンス予測を生成できるか？

主な発見

• 3Dアフォーダンスネットベンチマークには、22,949個の3D形状にまたがる56,307件の明確に定義されたアフォーダンスアノテーションが含まれており、3Dにおいて確率的で点単位のアフォーダンススコアを持つ最初の大規模データセットである。
• VATを用いた半教師ありアフォーダンス推定は、全ラベル付き学習よりも1%のラベル付きデータでのすべての指標で優れた性能を示し、ラベルなしデータの価値を裏付けている。
• 回転不変タスクは依然として非常に困難であり、特に「収容」アフォーダンスが凹型の幾何構造により、収納家具のような複雑な形状ではしばしば見逃される。
• フル形状および部分視点タスクでは、大多数のアフォーダンスタイプで高い性能を示すが、「開く」および「注ぐ」アフォーダンスは、重要な構造的部分が隠蔽されている場合に特に困難である。
• スパARSEキーポイントからのラベル伝播は、スケーラブルでコスト効率の良いデータセット作成を可能にする高品質な密なアフォーダンスアノテーションを効果的に生成した。
• 結果から、3D幾何的構造はアフォーダンス理解において極めて重要であり、現在のモデルは微細な文脈依存的相互作用に対して依然として困難を抱えていることが確認された。