[論文レビュー] PerceptNet: Learning Perceptual Similarity of Haptic Textures in Presence of Unorderable Triplets

Priyadarshini Kumari, Siddhartha Chaudhuri+1 more|arXiv (Cornell University)|May 8, 2019

Tactile and Sensory Interactions参考文献 28被引用数 7

ひとこと要約

PerceptNetは、数値でない三つ組比較（順序付け可能：高マージン、順序付け不可能：低マージン）のみを用いて、触覚的テクスチャの知覚的類似性をモデル化する深層度量学習フレームワークを導入する。この手法は、人間の知覚の微細な側面を捉え、限られたまたは不完全な訓練データでも一般化がうまくいく、一貫性のある埋め込み空間を学習することで、先行手法を上回る性能を発揮する。

ABSTRACT

In order to design haptic icons or build a haptic vocabulary, we require a set of easily distinguishable haptic signals to avoid perceptual ambiguity, which in turn requires a way to accurately estimate the perceptual (dis)similarity of such signals. In this work, we present a novel method to learn such a perceptual metric based on data from human studies. Our method is based on a deep neural network that projects signals to an embedding space where the natural Euclidean distance accurately models the degree of dissimilarity between two signals. The network is trained only on non-numerical comparisons of triplets of signals, using a novel triplet loss that considers both types of triplets that are easy to order (inequality constraints), as well as those that are unorderable/ambiguous (equality constraints). Unlike prior MDS-based non-parametric approaches, our method can be trained on a partial set of comparisons and can embed new haptic signals without retraining the model from scratch. Extensive experimental evaluations show that our method is significantly more effective at modeling perceptual dissimilarity than alternatives.

研究の動機と目的

• 人間の類似性および相違の知覚を正確に反映する、耐障害性のある触覚的テクスチャ用の知覚的度量を構築すること。
• 人間の知覚的判断における一貫性の欠如する数値スケーリング問題に対処するため、相対的で非数値的な比較に依存すること。
• 容易に順序付け可能な三つ組と曖昧（順序付け不可能）な三つ組を両方組み込むことで、度量学習を改善すること。これらの三つ組は、従来の手法ではしばしば無視されていた。
• パrametricな深層学習フレームワークを用いて、再訓練なしに未学習の触覚信号に一般化できること。
• 最小限の人的アノテーションで済む、スケーラブルでデータ効率の良い方法を用いて、触覚的語彙やアイコンを構築すること。

提案手法

• 低レベルの触覚特徴を知覚的埋め込み空間に埋め込むために深層ニューラルネットワークを用い、ユークリッド距離が知覚的相違度をモデル化する。
• 高マージン（不等式）と低マージン（等式）の両方の三つ組を学習中に情報として扱う、新規の三つ組損失関数を採用する。
• 次元削減と知覚的に関連するパターンの抽出を可能にする、新規のスペクトル特徴抽出法（CQFB：複素数値フィルターバンク）を用いて触覚的テクスチャを表現する。
• 訓練は相対的比較に限定される：各三つ組（基準、ポジティブ、ネガティブ）に対して、ネットワークはポジティブが基準に近いかどうかを学習する。
• 曖昧な比較（低マージン三つ組）に対処するため、基準がポジティブまたはネガティブのどちらに対しても顕著に近いとはならないように、等式制約を課す。
• ゼロショット一般化をサポート：モデル全体の再訓練なしに、新しい触覚信号を埋め込むことができる。

実験結果

リサーチクエスチョン

• RQ1 深層度量学習モデルは、触覚的テクスチャの非数値的相対的三つ組比較のみを用いて、知覚的類似性を効果的に学習できるか？
• RQ2 人間の被験者が二つの信号を信頼性高く区別できない（順序付け不可能な）低マージン三つ組を組み込むことで、学習された知覚的度量の耐障害性と正確性が向上するか？
• RQ3 不完全またはスパarsな比較データで訓練された場合、モデルは未学習の触覚信号にどの程度一般化できるか？
• RQ4 モデルの埋め込み空間が、人間の研究で定義された真の知覚的類似性構造をどの程度正確に保持しているか？
• RQ5 少ないデータで、MDSに基づく従来の非パラメトリック手法よりも、モデルが知覚的相違度をよりよくモデル化できるか？

主な発見

• PerceptNetは、高マージン三つ組のみで訓練されたベースラインモデルを著しく上回り、低マージン三つ組が知覚的重要な情報を保持していることを示している。
• ペアワイズ区別可能性予測のAUCが0.97に達し、ベースライン（AUC = 0.69, 0.66）を大きく上回っている。これは、知覚的に異なる信号ペアを識別する高精度を示している。
• PerceptNetが学習した知覚的類似性行列は、人間の研究から得た真の誤認行列と強く一致しており（AUC = 0.97）、人間の知覚傾向と良好に一致している。
• モデルの精度は訓練データサイズの増加に伴い単調に向上し、小さなデータセットでも一般化性能が維持される。これは、優れたデータ効率性を示している。
• CQFBスペクトル特徴を入力として用いることで、高次元の触覚信号のコンactかつ知覚的に意味のある表現が可能になり、モデルの精度が向上した。
• モデルは未学習の信号に対しても効果的に一般化でき、再訓練なしにゼロショット推論が可能である。これは、スケーラブルな触覚語彙設計にとって極めて重要である。