[論文レビュー] Spatio-temporal Attention Model for Tactile Texture Recognition

Guanqun Cao, Yi Zhou+2 more|arXiv (Cornell University)|Aug 10, 2020

Tactile and Sensory Interactions参考文献 33被引用数 4

ひとこと要約

本論文は、タクトイルシーケンスにおける顕著な空間的領域と時間的に関連する接触イベントに動的に注目する、新しい空間時間的アテンションモデル（STAM）を提案する。空間的および時間的アテンション機構を統合することで、非アテンションベースラインに対して最大18.8%の認識精度向上を達成し、接触前のノイズの多いデータに対しても強い耐性を示す。ノイズが加わった状況では、CNNベースのモデルよりも平均で15.23%の精度向上を達成した。

ABSTRACT

Recently, tactile sensing has attracted great interest in robotics, especially for facilitating exploration of unstructured environments and effective manipulation. A detailed understanding of the surface textures via tactile sensing is essential for many of these tasks. Previous works on texture recognition using camera based tactile sensors have been limited to treating all regions in one tactile image or all samples in one tactile sequence equally, which includes much irrelevant or redundant information. In this paper, we propose a novel Spatio-Temporal Attention Model (STAM) for tactile texture recognition, which is the very first of its kind to our best knowledge. The proposed STAM pays attention to both spatial focus of each single tactile texture and the temporal correlation of a tactile sequence. In the experiments to discriminate 100 different fabric textures, the spatially and temporally selective attention has resulted in a significant improvement of the recognition accuracy, by up to 18.8%, compared to the non-attention based models. Specifically, after introducing noisy data that is collected before the contact happens, our proposed STAM can learn the salient features efficiently and the accuracy can increase by 15.23% on average compared with the CNN based baseline approach. The improved tactile texture perception can be applied to facilitate robot tasks like grasping and manipulation.

研究の動機と目的

• 既存のタクトイルテクスチャ認識手法が、すべての空間的領域や時間的サンプルを同等に扱うという限界に対処する。これにより、非効率さとノイズへの感受性が生じる。
• 人間のタクトイル選択的注意にインspiredされたアテンション機構を、初めてロボットタクトイル認識に応用することを調査する。
• タクトイルシーケンスから空間的および時間的に選択的な特徴を学習することで、認識精度と耐性を向上させる。
• 特に現実世界のロボット操作シナリオにおいて、限られたまたはノイズの多いタクトイルデータからのより効率的な学習を可能にする。

提案手法

• STAMモデルは二重ブランチアーキテクチャを採用しており、各タクトイル画像の異なる領域に学習可能な重みを割り当て、情報量の多い特徴を強調する空間的アテンションモジュールを備える。
• 時間的アテンションモジュールを統合し、連続するタクトイルサンプル間の長距離依存関係をモデル化することで、ネットワークが時間的に最も関連性の高い接触イベントに注目できるようにする。
• 空間的および時間的アテンションモジュールは、布地のテクスチャデータ上でエンドツーエンドの学習中に交差エントロピー損失関数を用いて共同最適化される。
• Grad-CAM可視化を用いて、空間的アテンション機構がタクトイル画像の顕著な領域を正しく強調できるかを解釈および検証する。
• 時間的アテンションマップを可視化し、過去の接触イベントが現在のタクトイル状態の表現にどのように影響するかを分析する。特に最近の入力を強調する傾向が確認された。
• 本モデルは100クラスの布地テクスチャデータセット上で評価され、ノイズを含むデータに対するアブレーションスタディを通じて耐性を評価された。

実験結果

リサーチクエスチョン

• RQ1 空間時間的アテンション機構は、情報量の多い空間的および時間的特徴に注目することで、タクトイルテクスチャ認識の精度を向上させることができるか？
• RQ2 接触前のデータがノイズを含む状況下で、提案されたSTAMモデルはどのように性能を発揮するか、特に前処理のノイズにどう対処するか？
• RQ3 限られた入力シーケンスにおいて、アテンション機構は特徴学習の効率をどの程度向上させられるか？
• RQ4 モデルのアテンション分布は、顕著な特徴や最近の接触イベントに注目する人間のタクトイル選択的注意に類似しているか？

主な発見

• STAMモデルは、100種類の布地テクスチャを認識する際、非アテンションベースラインに対して最大18.8%の精度向上を達成し、空間時間的アテンションの有効性を示した。
• 接触前のノイズデータが加わった状況でも、STAMモデルは高い性能を維持し、ベースラインと比較して僅か0.92%の精度低下（ベースラインは14.96%低下）に抑えられ、強い耐性を示した。
• ノイズを含むデータで学習した際、STAMモデルはCNNベースラインと比較して平均で15.23%の精度向上を達成し、不要な情報を効果的にフィルタリングする能力を示した。
• Grad-CAMによる空間的アテンション可視化により、非アテンションベースラインと比較して、情報量の多いタクトイル領域がより強く活性化されていることが確認され、より優れた特徴選択が行われていることが示された。
• 時間的アテンション解析により、モデルが一貫して最近の接触領域に注目していることが判明し、長距離の時間的依存関係を効果的にモデル化できていることがわかった。
• ベースライン（57.4Mパラメータ）と比較して1140万パラメータ多い（68.8M）にもかかわらず、STAMモデルはコンactで効果的であり、アテンション機構が過剰な複雑さを追加することなく価値を追加していることが示された。