[論文レビュー] PartAfford: Part-level Affordance Discovery from 3D Objects

Chao Xu, Yixin Chen+4 more|arXiv (Cornell University)|Feb 28, 2022

Robot Manipulation and Learning被引用数 13

ひとこと要約

この論文では、密度の高い教師信号を用いずに、スパースなアフォーダンスラベルと幾何的正則化子を用いて3Dオブジェクト内のパーツレベルのアフォーダンスを発見する、新しいタスク「PartAfford」を紹介する。本手法は、教師なしのパーツ抽象化を可能にするスロットアテンションエンコーダーと、再構成、アフォーダンス予測、直方体プリミティブ正則化を統合するマルチブランチデコーダーを採用し、新たに構築された25,000以上の3Dオブジェクトと24のアフォーダンスカテゴリで構成されるデータセットを用いて、クロスカテゴリおよび困難な例において強力な一般化性能を達成している。

ABSTRACT

Understanding what objects could furnish for humans-namely, learning object affordance-is the crux to bridge perception and action. In the vision community, prior work primarily focuses on learning object affordance with dense (e.g., at a per-pixel level) supervision. In stark contrast, we humans learn the object affordance without dense labels. As such, the fundamental question to devise a computational model is: What is the natural way to learn the object affordance from visual appearance and geometry with humanlike sparse supervision? In this work, we present a new task of part-level affordance discovery (PartAfford): Given only the affordance labels per object, the machine is tasked to (i) decompose 3D shapes into parts and (ii) discover how each part of the object corresponds to a certain affordance category. We propose a novel learning framework for PartAfford, which discovers part-level representations by leveraging only the affordance set supervision and geometric primitive regularization, without dense supervision. The proposed approach consists of two main components: (i) an abstraction encoder with slot attention for unsupervised clustering and abstraction, and (ii) an affordance decoder with branches for part reconstruction, affordance prediction, and cuboidal primitive regularization. To learn and evaluate PartAfford, we construct a part-level, cross-category 3D object affordance dataset, annotated with 24 affordance categories shared among >25, 000 objects. We demonstrate that our method enables both the abstraction of 3D objects and part-level affordance discovery, with generalizability to difficult and cross-category examples. Further ablations reveal the contribution of each component.

研究の動機と目的

• 密度の高いアノテーションを必要としない人間のようなスパース教師信号の枠組みを提案することで、視覚的アフォーダンス学習におけるギャップを埋める。
• モデルがオブジェクトレベルのアフォーダンスラベルと3Dジオメトリのみからパーツレベルのアフォーダンスを発見できる新しいタスク「PartAfford」を定式化する。
• セットレベルの教師信号と幾何的プライアのみを用いて、3Dパーツの抽象化とアフォーダンス発見を同時に実行する自己教師型フレームワークを開発する。
• 25,000以上のオブジェクトにわたり24のアフォーダンスカテゴリを含む、大規模かつパーツレベルでクロスカテゴリに跨る3Dアフォーダンスデータセットを構築し、ベンチマークを提供する。
• モデルの困難な例やクロスカテゴリ例への一般化能力を評価し、パーツレベルのアフォーダンス理解における堅牢性と解釈可能性を示す。

提案手法

• 本手法は、スロットアテンションに基づくエンコーダーを用いて3Dオブジェクト特徴を分離可能なスロット変数の集合に抽象化し、真のパーツアノテーションがなくても教師なしクラスタリングとパーツ抽象化を可能にする。
• マルチブランチデコーダーは、アフォーダンスラベルの予測、3Dパーツおよび完全なオブジェクトの再構成、直方体プリミティブ正則化による幾何的妥当性の強制を統合して行う。
• 本フレームワークは、パーツ単位やピクセル単位の密度の高いアノテーションを一切使用せず、アフォーダンスセットの教師信号と幾何的制約に依存する。
• 多様なアフォーダンス構成からの対照的教師信号を用いたエンドツーエンド学習により、アフォーダンスラベルと抽象化された3Dパーツの対応関係を学習する。
• スロット数は、オブジェクトカテゴリごとの最大アフォーダンスラベル数に設定されており、スロットとアフォーダンスのマッチングにおける曖昧性を低減する。
• データオーグメンテーションを適用することで、アフォーダンス構成の多様性を向上させ、対照的学習とモデル一般化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 密度の高い教師信号を用いずに、オブジェクトレベルのアフォーダンスラベルと幾何的プライアのみを用いて、意味的な3Dパーツレベルのアフォーダンスを発見できるか？
• RQ2 本手法は、パーツが曖昧または形状の変動が大きい場合の未学習のクロスカテゴリ例や困難な例に対して、どの程度効果的に一般化できるか？
• RQ3 幾何的プリミティブ正則化とスロットアテンションによる抽象化は、パーツ発見とアフォーダンス予測の性能向上にどの程度寄与しているか？
• RQ4 データオーグメンテーションは、モデルが分離可能なアフォーダンス-パーツ対応関係を学習する能力にどのように影響するか？
• RQ5 小さなパーツ、複雑な形状、機能的に曖昧なパーツ（例：ハンドル、照明装置）に結びつくアフォーダンスを発見する際の本手法の限界は何か？

主な発見

• 提案手法は、オブジェクトレベルのアフォーダンスラベルと幾何的制約のみを用いて、パーツレベルのアフォーダンスを効果的に発見し、3Dパーツを再構成でき、クロスカテゴリ例へのゼロショット一般化性能が顕著に優れている。
• 再構成が不完全であっても、マイクロ波調理機（開閉可能）や細分化されたパーツを有するオブジェクトなど、困難なオブジェクトに対して良好に一般化している。
• アブレーションスタディにより、スロットアテンションエンコーダーと幾何的正則化を施したマルチブランチデコーダーが性能向上に不可欠であることが確認され、特に形状の妥当性が顕著に向上している。
• データオーグメンテーションにより、多様なアフォーダンス構成を通じて対照的信号を増強することで、学習効率とモデル性能が著しく向上した。
• 失敗事例の主な原因は、細分化された形状の再構成困難さと直方体仮定の破綻であり、特にハンドルのような小さなパーツで顕著に見られる。
• 同じアフォーダンスが複数のスロットに割り当てられる場合でも、モデルはアフォーダンスをパーツに適切に割り当てることができており、過剰なスロット数は「ヌルスロット」の割り当てを引き起こすなど、曖昧性への注意を示している。