[論文レビュー] AffordanceNet: An End-to-End Deep Learning Approach for Object Affordance Detection

Thanh-Toan Do, Anh‐Tu Nguyen+1 more|arXiv (Cornell University)|Sep 21, 2017

Robot Manipulation and Learning参考文献 24被引用数 27

ひとこと要約

AffordanceNet は、2つのブランチ（物体検出用と多クラスアフォーデンスセグメンテーション用）を備えた共有畳み込みバックボーンを用いて、RGB画像から物体とそのピクセル単位のアフォーデンスを同時に検出するエンドツーエンドのディーブラーニングフレームワークである。畳み込み層のアップサンプリング、耐障害性の高いリサイズ戦略、マルチタスク損失関数を用いることで、150ms/枚の推論速度を達成し、リアルタイムのロボットアプリケーションを可能にした。公開データセットにおいて最先端の性能を示した。

ABSTRACT

We propose AffordanceNet, a new deep learning approach to simultaneously detect multiple objects and their affordances from RGB images. Our AffordanceNet has two branches: an object detection branch to localize and classify the object, and an affordance detection branch to assign each pixel in the object to its most probable affordance label. The proposed framework employs three key components for effectively handling the multiclass problem in the affordance mask: a sequence of deconvolutional layers, a robust resizing strategy, and a multi-task loss function. The experimental results on the public datasets show that our AffordanceNet outperforms recent state-of-the-art methods by a fair margin, while its end-to-end architecture allows the inference at the speed of 150ms per image. This makes our AffordanceNet well suitable for real-time robotic applications. Furthermore, we demonstrate the effectiveness of AffordanceNet in different testing environments and in real robotic applications. The source code is available at https://github.com/nqanh/affordance-net

研究の動機と目的

• RGB画像から物体とそのアフォーデンスを同時に検出できるリアルタイムでエンドツーエンドのディーブラーニングシステムの開発。
• 外観が異なるが同じ機能ラベルを持つ物体部品が存在する多クラスアフォーデンスセグメンテーションの課題に対処すること。
• 人間のインタラクションデータを必要とせず、複雑で未知の環境においても精度と一般化性能を向上させること。
• 1枚あたり150msの高速推論を実現することで、実用的なロボットシステムへの導入を可能にすること。
• シミュレーテッドおよび実世界のロボット操作タスクにおける有効性を実証すること。

提案手法

• ネットワークは共有畳み込みバックボーンに続き、物体検出（バウンディングボックスとクラスラベル）用とアフォーデンスセグメンテーション（ピクセル単位のラベル）用の2つの並列ブランチを備える。
• デコンボリューション層の連鎖により、アフォーデンス特徴マップを高解像度にアップサンプリングし、空間的詳細を保持して高精度なセグメンテーションを実現する。
• 異なるスケールの特徴マップを整列させるために耐障害性の高いリサイズ戦略を適用し、特徴の一貫性とセグメンテーション精度を向上させる。
• マルチタスク損失関数により、物体検出とアフォーデンスセグメンテーションを同時に最適化することで、エンドツーエンド学習が可能になり、特徴の共有が促進される。
• 最終的なアフォーデンスマップサイズを、精度と計算コストの最適なトレードオフを考慮し、244×244に設定した。学習には IIT-AFF および UMD データセットを用い、クロスエントロピー損失とボックス損失のコンポonentを組み合わせた。
• 効率的なアーキテクチャ設計により推論を高速化し、1枚あたり150msの推論速度を1つのGPUで達成した。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのディーブラーニングフレームワークは、高い精度とリアルタイム性能を同時に達成し、物体とそのアフォーデンスを検出可能か？
• RQ2 デコンボリューション層、リサイズ戦略、マルチタスク損失は、先行手法と比較して多クラスアフォーデンスセグメンテーションをどのように改善するか？
• RQ3 モデルは、制御されたデータセットを超えて、実世界およびシミュレーテッド環境への一般化がどの程度可能か？
• RQ4 本システムは、ポーリングやグリッピングなどの実際のロボット操作タスクに効果的に導入可能か？
• RQ5 精度と計算効率のバランスを最適化するには、どのアフォーデンスマップサイズが最適か？

主な発見

• AffordanceNet は IIT-AFF データセットで最先端の性能を達成し、最近の手法を上回る重み付き Fβ スコア 73.35 を記録した。
• 1枚あたり150msのリアルタイム推論を達成し、オンラインのロボットアプリケーションに適している。
• 244×244 のアフォーデンスマップが、精度と計算コストの最良のトレードオフを提供しており、14×14 や 28×28 のような小さなマップよりも優れている。
• ネットワークは多様な環境（芸術作品の画像、Gazebo シミュレーションなど）に良好に一般化しており、ドメインシフトに対しても頑健であることが示された。
• WALK-MAN ヒューマノイドロボットへの実装では、正確な物体およびアフォーデンスの局所化を提供し、ポーリングやグリッピングといったタスクを成功に実行した。
• アブレーションスタディにより、デコンボリューション層、耐障害性の高いリサイズ戦略、マルチタスク損失が、多クラスアフォーデンス検出における高精度を実現する上で不可欠な要素であることが確認された。