[論文レビュー] Binge Watching: Scaling Affordance Learning from Sitcoms

Xiaolong Wang, Rohit Girdhar+1 more|arXiv (Cornell University)|Apr 9, 2018

Robot Manipulation and Learning参考文献 36被引用数 3

ひとこと要約

本論文は、7つのシットコメディの1億フレームから抽出された28,882のアフォーダンスポーズから構成される大規模データセットを紹介し、ロボット工学およびビジョン分野における人間-オブジェクトインタラクションのスケーラブルな学習を可能にしている。本研究では2段階の手法を提案する。まず、シーン内の位置で可能性の高いポーズクラスを分類し、次に変動性とスケーリングの多様な変異を生成するための変分オートエンコーダー（VAE）を用いる。この手法により、ベースラインモデルに比べて一般化性能が顕著に向上する。

ABSTRACT

In recent years, there has been a renewed interest in jointly modeling perception and action. At the core of this investigation is the idea of modeling affordances(Affordances are opportunities of interaction in the scene. In other words, it represents what actions can the object be used for). However, when it comes to predicting affordances, even the state of the art approaches still do not use any ConvNets. Why is that? Unlike semantic or 3D tasks, there still does not exist any large-scale dataset for affordances. In this paper, we tackle the challenge of creating one of the biggest dataset for learning affordances. We use seven sitcoms to extract a diverse set of scenes and how actors interact with different objects in the scenes. Our dataset consists of more than 10K scenes and 28K ways humans can interact with these 10K images. We also propose a two-step approach to predict affordances in a new scene. In the first step, given a location in the scene we classify which of the 30 pose classes is the likely affordance pose. Given the pose class and the scene, we then use a Variational Autoencoder (VAE) to extract the scale and deformation of the pose. The VAE allows us to sample the distribution of possible poses at test time. Finally, we show the importance of large-scale data in learning a generalizable and robust model of affordances.

研究の動機と目的

• ロボット工学およびコンピュータビジョン分野における視覚的アフォーダンス学習のための、大規模かつ多様なデータセットの不足を解消すること。
• 物理シミュレーションや手動ラベリングに依存せずに、スケーラブルでデータ効率の良い方法で、シーン内の人のインタラクションポーズを予測すること。
• テレビ番組から得られる多様で現実的な人間のインタラクションパターンを活用することで、アフォーダンス予測の一般化性能とロバストネスを向上させること。
• 脚本付きのシーンから得られる大規模な弱教師ありデータが、環境の機能的理解のためのモデルを効果的に訓練できることを実証すること。

提案手法

• 1億フレームの7つのシットコメディから10,000以上のシーンと28,882の人のオブジェクトインタラクションポーズを、自動フレーム処理とシーン登録を用いて抽出する。
• 30クラスのポーズ分類ネットワークを用い、特定のシーン内位置における最も可能性の高いアフォーダンスポーズタイプを予測する。
• 各予測されたポーズクラスのスケールおよび変形の分布をモデル化するため、変分オートエンコーダー（VAE）を訓練する。これにより、テスト時に確率的サンプリングが可能になる。
• テスト時にランダムな潜在ノイズベクトルを用いてVAEのデコードを適用し、同じシーンおよび位置に対して複数の妥当で多様なポーズを生成する。
• 比較のため、予測されたヒートマップをクラスタ中心に一致させることでポーズ分類を行うヒートマップベースのベースラインを用いる。
• 人間による評価と、陽性・陰性のテストサンプルにおける精度-再現率曲線を用いて、分類性能およびポーズの現実性を評価する。

実験結果

リサーチクエスチョン

• RQ1 脚本付きのテレビ番組から得られる大規模な弱教師ありデータは、視覚的アフォーダンス予測のためのモデルを効果的に訓練するために利用可能か？
• RQ2 トレーニングデータのスケールを拡大することで、アフォーダンス予測の一般化性能とロバストネスが向上するか？
• RQ3 VAEベースのアプローチは、決定論的または平均化された出力よりも、人間の直感に合致する多様で現実的なポーズ変異を生成できるか？
• RQ4 2段階の手法（分類 + VAEの最適化）は、ヒートマップベースのアプローチに比べて、ポーズ分類の正確性において優れているか？

主な発見

• 25,000件のデータポイントで学習した結果、トップ5分類精度は50.9%に達し、ヒートマップベースライン（47.3%）を顕著に上回った。
• 人間による評価では、モデルが予測したポーズが46%のケースで、実際の真値よりも現実的であると判断された。これは、人間レベルの識別性能に近い結果を示している。
• VAEベースの手法は、同じシーンと位置に対して複数の妥当で多様なポーズ変異を効果的に生成でき、ポーズ分布の不確実性をモデル化する能力を示した。
• 精度-再現率曲線の結果、25,000件のデータポイントで学習したモデルが、与えられたポーズがシーン内で妥当かどうかを分類する性能で最高を記録した。
• これらの結果から、シットコメディから得られる大規模で現実世界のインタラクションデータは、より小さいまたは合成されたデータセットで学習したモデルよりも、一般化性能が優れているモデルを効果的に訓練できることを示している。