[論文レビュー] Connecting Touch and Vision via Cross-Modal Prediction

Yunzhu Li, Jun-Yan Zhu+2 more|arXiv (Cornell University)|Jun 14, 2019

Tactile and Sensory Interactions参考文献 50被引用数 10

ひとこと要約

本論文は、スケールおよび位置の条件付きを施した条件付き敵対的ネットワークを用いて、視覚入力から現実的な触覚信号を生成するか、逆に触覚信号から視覚信号を生成する、クロスモーダル予測フレームワークを提案する。主な貢献は、完全に教師ありのベースラインと同等の性能を達成する自己教師付き手法であり、300万件の視覚-触覚ペアを含む大規模なロボット収集データセットを用いて、人間の知覚的評価と定量的指標によって検証された。

ABSTRACT

Humans perceive the world using multi-modal sensory inputs such as vision, audition, and touch. In this work, we investigate the cross-modal connection between vision and touch. The main challenge in this cross-domain modeling task lies in the significant scale discrepancy between the two: while our eyes perceive an entire visual scene at once, humans can only feel a small region of an object at any given moment. To connect vision and touch, we introduce new tasks of synthesizing plausible tactile signals from visual inputs as well as imagining how we interact with objects given tactile data as input. To accomplish our goals, we first equip robots with both visual and tactile sensors and collect a large-scale dataset of corresponding vision and tactile image sequences. To close the scale gap, we present a new conditional adversarial model that incorporates the scale and location information of the touch. Human perceptual studies demonstrate that our model can produce realistic visual images from tactile data and vice versa. Finally, we present both qualitative and quantitative experimental results regarding different system designs, as well as visualizing the learned representations of our model.

研究の動機と目的

• 視覚（全体シーンの認識）と触覚（局所的センシング）の間の顕著なスケールギャップを、クロスモーダル学習で埋める。
• 明示的な人間のアノテーションなしに、視覚から触覚、触覚から視覚へのゼロショットクロスモーダル生成を可能にする。
• 高周波数で多様性が低い触覚データにもかかわらず、GAN学習におけるモード崩壊を回避する強力な生成モデルを開発する。
• 人間の知覚的評価と定量的指標を用いて、生成出力のリアリズムと知覚的妥当性を検証する。
• 視覚と触覚の両モalityで学習された共有表現を可視化し、解釈可能にする。

提案手法

• GelSight触覚センサとウェブカメラを装備したロボットシステムが、195種類の物体に対して12,000回のタッチインタラクションを実施し、300万件の視覚-触覚画像ペアを生成した。
• 視覚と触覚の間のスケール差を解消するために、タッチのスケールおよび空間的位置に明示的な条件付けを施した条件付き敵対的ネットワークを設計した。
• 平坦で模様のない触覚領域が優勢であるため、GAN学習中に頻発するモード崩壊を軽減するために、データ再バランス戦略を適用した。
• モデルは2つのタスクで学習された：(1) 視覚から触覚への予測（視覚入力から妥当な触覚信号を生成）、(2) 触覚から視覚への予測（触覚入力から視覚シーンを生成）。
• 知覚的評価は、Amazon Mechanical Turkを用いて実施され、人間の参加者が生成されたタッチ位置が真値と似ているかどうか、または生成された画像が本物か偽物かを判断した。
• 特徴量可視化を用いてモデルの内部表現を解釈し、エッジや表面特性といった幾何的ヒントに感受性を示すことが明らかになった。

実験結果

リサーチクエスチョン

• RQ1 視覚と触覚の間の大きな空間的スケールギャップにもかかわらず、自己教師付きモデルは視覚入力から現実的な触覚信号を生成できるか？
• RQ2 触覚入力のみで、教師あり手法と同等の性能を達成できるか、妥当な視覚シーンを予測できるか？
• RQ3 タッチの位置とスケールに条件付けを施すことで、視覚-触覚予測におけるクロスモーダル生成品質はどのように向上するか？
• RQ4 ゼロショットクロスモーダル生成において、未観測の物体へどの程度一般化できるか？
• RQ5 モデルが学習する共有物理的表現はどのようなものであり、それが正確なクロスモーダル転送を可能にするか？

主な発見

• 人間の知覚的評価において、既知の物体では『似ている』と判断されるタッチ局所化の正確さが89.20%に達し、未知の物体では83.44%に達した。これは、pix2pixおよびその時系列拡張版と比較して顕著に優れた性能を示した。
• 生成画像と本物の画像を区別する際のモデルの欺瞞率（fooling rate）は、既知の物体で30.50%、未知の物体で24.22%に達し、モード崩壊のための高いスコアを示すpix2pixに比べて、強い知覚的リアリズムを示した。
• 自己教師付き手法は、1,000件の人的アノテーション付きタッチ位置で学習された完全に教師ありベースラインと同等の性能を示し、このタスクにおける自己教師学習の有効性を裏付けた。
• 標準的なGANとは異なり、データ再バランスにより、特に多様性が低い触覚入力でも、繰り返し同じ出力を生成するモード崩壊を効果的に回避した。
• 学習された表現の可視化により、エッジや表面特徴といった幾何的ヒントをエンコードしていることが明らかになった。これらはクロスモーダル整合性に不可欠な要因である。
• 時系列モデリングは視覚から触覚への予測性能を向上させたが、触覚から視覚への予測には一貫した向上が見られず、データセットにオブジェクトに接触するペアのみが含まれていることが要因と考えられる。