[論文レビュー] My House, My Rules: Learning Tidying Preferences with Graph Neural Networks

Ivan Kapelyukh, Edward Johns|arXiv (Cornell University)|Nov 4, 2021

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

この論文では、ユーザーが配置したシーンから個人化された空間的好みを学ぶ、グラフニューラルネットワークを用いた変分オートエンコーダーであるNeatNetを提案する。ユーザー行動を低次元の潜在ベクトルに符号化し、語彙埋め込みを用いてゼロショット一般化を実現することで、ベースラインを上回るユーザーレビューにおいて、多様な再配置タスクおよび未観測のオブジェクトにおいて、高品質で個人化されたオブジェクト配置を予測する。

ABSTRACT

Robots that arrange household objects should do so according to the user's preferences, which are inherently subjective and difficult to model. We present NeatNet: a novel Variational Autoencoder architecture using Graph Neural Network layers, which can extract a low-dimensional latent preference vector from a user by observing how they arrange scenes. Given any set of objects, this vector can then be used to generate an arrangement which is tailored to that user's spatial preferences, with word embeddings used for generalisation to new objects. We develop a tidying simulator to gather rearrangement examples from 75 users, and demonstrate empirically that our method consistently produces neat and personalised arrangements across a variety of rearrangement scenarios.

研究の動機と目的

• ロボットの再配置タスクにおける主観的でユーザー固有の空間的好みをモデル化する課題に対処すること。
• 明示的な好みのラベルなしに、観測されたユーザーの配置から個人化された好みを推定する手法を開発すること。
• 学習済みの好みと意味的埋め込みを組み合わせることで、新しいオブジェクトや未観測のシーンへの一般化を可能にすること。
• シミュレーテッド整理環境における大規模なユーザースタディを通じて、モデルの個人化および一般化能力を評価すること。
• ニューラル好みモデルが、ヒューリスティック法や非個人化ベースラインを上回ることを、実際のユーザーレビューで示すこと。

提案手法

• NeatNetは、グラフニューラルネットワーク（GNN）層を備えた変分オートエンコーダーであり、ユーザーが配置したシーンを低次元の潜在好みベクトルに符号化する。
• 各シーンは、オブジェクトをノードとし、空間的関係をエッジで表現するグラフとして表現され、メッセージパッシングにより構造的好みを捉える。
• オブジェクト名の語彙埋め込みが入力特徴として用いられ、推論時に未観測のオブジェクトに対してもゼロショット一般化を可能にする。
• モデルは、75名のユーザーが使用したカスタム3D整理シミュレータ（TidySim）で収集した再配置データを、エンドツーエンドで訓練する。
• 推論時には、推定された好みベクトルを用いて、新しいシーンや新しいオブジェクトのための個人化された配置を予測する。
• 訓練済みユーザーからの学習済み事前分布と個人好みの符号化を組み合わせることで、シーンやオブジェクトタイプを越えた一般化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、明示的な好みラベルなしに、観測されたユーザーの配置から個人化された空間的好みを学習できるか？
• RQ2 意味的埋め込みを活用することで、学習時に未確認のオブジェクトに対してもモデルは一般化できるか？
• RQ3 1つの観測された配置に基づいて、未確認の新しいシーンにおける個人化された配置をモデルは予測できるか？
• RQ4 ユーザーレビューにおいて、非個人化またはヒューリスティックベースラインと比較して、モデルのパフォーマンスはどの程度か？
• RQ5 モデルは、オブジェクトの順序付け、到達可能性、壊れやすさの考慮といった、洗練された好みをどの程度捉えられるか？

主な発見

• NeatNetは、新しいシーンにおける予測配置について、平均ユーザーレーティングが10点中9.65を達成し、kNN-Scene-Projection（6.94）やRandom-User（5.88）を著しく上回った。
• 未観測のオブジェクトの配置において、NeatNetは全オブジェクトタイプで平均絶対誤差2.58 cmを達成し、Random-Position（16.38 cm）やNeatNet-No-Prefs（11.12 cm）を上回った。
• NeatNetは、未観測のシーンにおけるラップトップや青いボックスに対しても成功裏に一般化し、ユーザーがその配置をすべてのベースラインより高く評価した。これは、意味的および空間的パターンを推定できる能力のおかげであった。
• モデルは抽象的シーンにおいてもサイズ順序付けのパターンを正しく外挿し、個々のユーザー行動を超えた構造的事前分布を学習していることを示した。
• ユーザーレビューでは、NeatNetの予測が、ベースライン手法よりも一貫して洗練されており、より個人化されたものであると評価された。
• 語彙埋め込みの使用により、ゼロショット一般化が効果的に実現され、訓練データに含まれなかった新しいオブジェクト（例：ラップトップ）に対しても、ユーザーがNeatNetの配置を好んでいた。