[論文レビュー] Audio-Visual Self-Supervised Terrain Type Discovery for Mobile Platforms

Akiyoshi Kurobe, Yoshikatsu Nakajima+2 more|arXiv (Cornell University)|Oct 13, 2020

Video Surveillance and Tracking Methods参考文献 36被引用数 4

ひとこと要約

本論文では、音声と視覚特徴を交互に切り替える自己教師ありマルチモーダル手法を提案し、モバイルプラットフォーム上で地形タイプを発見する。適応的クラスタリングにより偽ラベルを生成し、視覚ベースの畳み込みニューラルネットワーク（CNN）を訓練する。この手法は、視覚的ノイズに対して頑健な音声と、識別力に優れた視覚の両方の利点を活かすことで、85%を超える精度を達成し、単一モダリティのベースラインを著しく上回る。

ABSTRACT

The ability to both recognize and discover terrain characteristics is an important function required for many autonomous ground robots such as social robots, assistive robots, autonomous vehicles, and ground exploration robots. Recognizing and discovering terrain characteristics is challenging because similar terrains may have very different appearances (e.g., carpet comes in many colors), while terrains with very similar appearance may have very different physical properties (e.g. mulch versus dirt). In order to address the inherent ambiguity in vision-based terrain recognition and discovery, we propose a multi-modal self-supervised learning technique that switches between audio features extracted from a mic attached to the underside of a mobile platform and image features extracted by a camera on the platform to cluster terrain types. The terrain cluster labels are then used to train an image-based convolutional neural network to predict changes in terrain types. Through experiments, we demonstrate that the proposed self-supervised terrain type discovery method achieves over 80% accuracy, which greatly outperforms several baselines and suggests strong potential for assistive applications.

研究の動機と目的

• 視覚ベースの地形認識における曖昧さ（例：マットと土壌が外観が似ているが物理的性質が異なる）を解消すること。
• 単一モダリティセンシングの限界（例：照明や物体による視覚的ノイズ、音声の干渉）を、自己教師ありフレームワーク内で音声と視覚モダリティを統合することで克服すること。
• 搭載マイクとカメラでのみ動作する、実用的で低コストな地形タイプ発見手法を開発すること。
• 地形の摩擦と視覚的外観を対象とした、同期された音声と画像データを含む、無料で利用可能なデータセットを構築すること。
• マルチモーダルクラスタリングから得た偽ラベルを用いて、視覚ベースのCNNを訓練し、頑健な地形分類を実現すること。

提案手法

• まず、ロボットの下部に取り付けたマイクからの特徴を用いて、音声ベースのクラスタリングを実行し、初期の時間的セグメント（地形タイプ）を生成する。
• 各時間的セグメント内では、音声と視覚特徴を平均化して、遮蔽や環境的干渉によるノイズを低減する。
• 平均化された特徴に対して、より大規模なクラスタリングを実施し、より安定的かつ一貫性のある地形セグメントを生成する。
• クラスタリングの過程で、音声と視覚特徴を適応的に切り替えることで、各モダリティの長所を活かす（音声：物理的性質の安定的検出、視覚：外観に基づく識別力）。
• 最終クラスタリングから得た偽ラベルを用いて、ResNet50ベースのCNNを自己教師ありの形で訓練し、エンドツーエンドの地形タイプ予測を実現する。
• シーケンス検出と凝集的クラスタリングを用いて、セグメント境界を最適化し、クラスタリングの頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 音声と視覚の手がかりを統合することで、単一モダリティ手法よりも、マルチモーダル自己教師あり学習が地形タイプ発見を効果的に改善できるか？
• RQ2 クラスタリングの過程で音声と視覚特徴を適応的に切り替えることで、地形クラスタリングの精度と頑健性はどのように向上するか？
• RQ3 音声・視覚クラスタリングから生成された偽ラベルは、視覚ベースの地形分類器の性能をどの程度向上できるか？
• RQ4 提案手法は、外観や物理的性質が異なる多様な屋内・屋外環境に一般化可能か？

主な発見

• 提案された自己教師ありマルチモーダルクラスタリング手法は、地形タイプ分類で85%を超える平均精度を達成し、単一モダリティベースラインを著しく上回った。
• カーペットでは87.3%、アスファルトでは95.7%、パトロールでは95.5%の精度を達成し、多様な地形タイプで優れた性能を示した。
• 音声と視覚特徴の切り替えにより、特徴の連結よりもクラスタリング精度が向上し、NMIスコアの上昇とより良い定性的なセグメンテーションが確認された。
• 本手法のクラスタリングフレームワークから得た偽ラベルを用いて訓練されたCNNは、マルチモーダルな一貫性から学習することで、外観が似た地形（例：異なる種類のカーペット）を正しく分類できた。
• 定性的な結果から、切り替え手法は、音声単体の手法で見られる過剰セグメンテーション（over-segmentation）と、視覚単体の手法で見られるノイズへの感受性を低減し、特に照明変化や床の模様が複雑なシーンで顕著であった。
• 実世界の屋内・屋外環境から収集した同期音声・画像データを含むデータセットは、公開されており、将来的な地形認識研究を支援する。