[論文レビュー] Learning Semantic Embedding Spaces for Slicing Vegetables

Mohit Sharma, Kevin Zhang+1 more|arXiv (Cornell University)|Mar 30, 2019

Robot Manipulation and Learning参考文献 18被引用数 8

ひとこと要約

本論文では、交互作用に基づく補助タスク（具体的にはスライスの厚さを予測すること）を用いて、野菜スライスの意味的でオブジェクト中心の埋め込みを学習する2段階の学習フレームワークを提案する。これらのタスク上で埋め込みネットワークを訓練し、その後その埋め込みを用いて前向きモデルを学習することで、潜在空間における正確なオンライン計画が可能になる。実験では、厚さなどの連続的な意味的特性を捉え、きゅうりとトマトの間で一般化できることを示している。

ABSTRACT

In this work, we present an interaction-based approach to learn semantically rich representations for the task of slicing vegetables. Unlike previous approaches, we focus on object-centric representations and use auxiliary tasks to learn rich representations using a two-step process. First, we use simple auxiliary tasks, such as predicting the thickness of a cut slice, to learn an embedding space which captures object properties that are important for the task of slicing vegetables. In the second step, we use these learned latent embeddings to learn a forward model. Learning a forward model affords us to plan online in the latent embedding space and forces our model to improve its representations while performing the slicing task. To show the efficacy of our approach we perform experiments on two different vegetables: cucumbers and tomatoes. Our experimental evaluation shows that our method is able to capture important semantic properties for the slicing task, such as the thickness of the vegetable being cut. We further show that by using our learned forward model, we can plan for the task of vegetable slicing.

研究の動機と目的

• ロボット操作のためのタスク関連の意味的特性を捉える表現学習手法を開発すること。特に野菜スライスを対象とする。
• 手作業で設計された特徴量に依存せずに、変形しやすく形状が多様な物体に対して意味的で一般化可能な表現を学習する課題に対処すること。
• 模倣学習や報酬形状に依存せず、相互作用と補助学習を通じて表現品質を向上させること。
• 学習済み潜在埋め込み空間上で、埋め込みに基づいて訓練された前向きモデルを用いてオンライン計画を可能にすること。
• きゅうりとトマトを含む現実世界のロボットタスクにおいて、本手法を実証し、意味的理解力と計画能力を示すこと。

提案手法

• スライスの厚さを予測するという補助タスクを用いて、相互作用データと組み合わせて埋め込みネットワークを訓練する。
• 2段階のプロセスを採用する：まず、補助タスク上で埋め込みネットワークを事前学習し、オブジェクト中心の表現を学習する。次に、学習済み埋め込み上で前向きモデルを訓練する。
• 前向きモデルを用いて潜在空間における将来状態の複数ステップ予測を実行し、オンライン計画を可能にする。
• 前向きモデルの予測結果を用いて、自己教師学習の仕組みで埋め込みの品質を段階的に改善する。
• RGB画像を複数のカメラ（側面、アーム搭載、保持アーム）から取得し、3次元畳み込みニューラルネットワークのアーキテクチャを用いて状態観測を行う。
• 主成分分析（PCA）を用いて、学習済み埋め込み空間の意味的構造を可視化および検証する。

実験結果

リサーチクエスチョン

• RQ1 スライスの厚さ予測のような補助タスクは、野菜スライスの意味的でオブジェクト中心の表現を効果的に学習するのに適しているか？
• RQ2 学習済み埋め込み空間は、厚さのような連続的な意味的属性を構造的かつ一般化可能に捉えているか？
• RQ3 学習済み埋め込みに基づいて訓練された前向きモデルは、潜在空間において野菜スライスの正確な複数ステップ計画を可能にしているか？
• RQ4 前向きモデルと埋め込みネットワークの相互作用が、自己改善を通じて表現品質をどのように向上させているか？
• RQ5 本手法は、形状や材料特性が異なる野菜（きゅうり対トマト）の間でどの程度一般化できるか？

主な発見

• 学習済み埋め込み空間は、厚さなどの意味的特性を捉えており、視覚的に類似したクラス（例：非常に薄いと薄い）が埋め込み空間内で密にクラスタリングされている。
• 前向きモデルの予測された埋め込みが、埋め込みネットワークから計算された真値埋め込みとよく一致しており、状態遷移の正確なモデリングが実現していることが示された。
• 近い厚さクラス（例：薄い対非常に薄い）に対して、前向きモデルの予測に高い分散が見られ、厚さの連続的理解を学習していることが示された。
• 潜在空間における複数ステップ計画は、複数のスライスにわたる野菜の状態の進化を適切にシミュレートしており、スライスの厚さに応じて埋め込みが適切に変化している。
• モデルは野菜の種類を問わず一般化している：形状やテクスチャの違いがあるにもかかわらず、きゅうりとトマトの両方で一貫した表現を学習している。
• 前向きモデルと埋め込みネットワークの反復的フィードバックループにより、計画を通じてタスク関連属性をよりよく符号化できるようになるなど、表現品質が向上している。