[論文レビュー] Shift-Equivariant Similarity-Preserving Hypervector Representations of Sequences

Dmitri A. Rachkovskij|arXiv (Cornell University)|Dec 31, 2021

Ferroelectric and Negative Capacitance Devices被引用数 9

ひとこと要約

本稿では、スパースバイナリ分散表現（SBDR）における順列ベースの順序付けを用いて、シフトに不変で類似性を保つハイパーエンベッディング手法を提案する。各要素を構成的ハイパーエンベッディングとして表現し、位置を順列を用いて符号化することで、特徴豊富な手法と同等の性能を達成。シーケンスのシフトに対してロバストで不変であり、構造的類似性を保持していることが示された。

ABSTRACT

Hyperdimensional Computing (HDC), also known as Vector-Symbolic Architectures (VSA), is a promising framework for the development of cognitive architectures and artificial intelligence systems, as well as for technical applications and emerging neuromorphic and nanoscale hardware. HDC/VSA operate with hypervectors, i.e., distributed vector representations of large fixed dimension (usually > 1000). One of the key ingredients of HDC/VSA are the methods for encoding data of various types (from numeric scalars and vectors to graphs) into hypervectors. In this paper, we propose an approach for the formation of hypervectors of sequences that provides both an equivariance with respect to the shift of sequences and preserves the similarity of sequences with identical elements at nearby positions. Our methods represent the sequence elements by compositional hypervectors and exploit permutations of hypervectors for representing the order of sequence elements. We experimentally explored the proposed representations using a diverse set of tasks with data in the form of symbolic strings. Although our approach is feature-free as it forms the hypervector of a sequence from the hypervectors of its symbols at their positions, it demonstrated the performance on a par with the methods that apply various features, such as subsequences. The proposed techniques were designed for the HDC/VSA model known as Sparse Binary Distributed Representations. However, they can be adapted to hypervectors in formats of other HDC/VSA models, as well as for representing sequences of types other than symbolic strings.

研究の動機と目的

• シーケンスのシフトに対して不変でありながら、類似したシーケンス間の類似性を保つハイパーエンベッディング表現を開発すること。
• ハイパーサイクルコンピューティング（HDC）において、サブシーケンスなどの手作業で設計された特徴に依存せずに、順序を符号化する課題に取り組むこと。
• 同じローカルパターンを持つシーケンスがシフトされても、構造的類似性が保持されるような手法を設計すること。
• スパースバイナリ分散表現（SBDR）モデルと互換性を持ちつつ、他のHDC/VSAフレームワークにも適応可能な手法を実現すること。

提案手法

• シーケンス内の各記号を、高次元空間におけるランダムで固定されたハイパーエンベッディング（SBDR形式）にマッピングする。
• 各記号のシーケンス内での位置は、その基本ハイパーエンベッディングに順列を適用することで符号化する。
• シーケンスの最終的なハイパーエンベッディング表現は、すべての要素の順列変換済みハイパーエンベッディングを組み合わせることで形成される（例：重ね合わせによる）。
• 順列操作により、シフト不変性が確保される：シーケンスのシフトは、全体のハイパーエンベッディングに対して一貫した変換を引き起こす。
• 順列効果の局所的整合性のおかげで、近接する位置に同じ要素を持つシーケンス間の類似性が保持される。
• アプローチは本質的に特徴フリーであり、サブシーケンスやパターンに基づく特徴を一切使用せず、記号のハイパーエンベッディングと位置の順列に依存する。

実験結果

リサーチクエスチョン

• RQ1 特徴フリーなハイパーエンベッディング符号化手法は、相対的にずれたが構造的に類似したシーケンス間の類似性を保持できるか？
• RQ2 提案手法のシフト不変符号化は、シーケンス分類タスクにおいて、特徴ベースの手法と比較してどの程度の性能を示すか？
• RQ3 シーケンス順序を符号化するために順列を使用する場合、ハイパーエンベッディング空間におけるシーケンスの構造的類似性はどの程度維持されるか？
• RQ4 ドメイン特化の特徴工学を必要とせず、多様な記号文字列データセットに対して本手法は有効性を保つのか？
• RQ5 提案手法の符号化は、スパースバイナリ分散表現（SBDR）を超えた他のHDC/VSAモデルへも一般化可能か？

主な発見

• 提案手法は、完全に特徴フリーであるにもかかわらず、特徴ベースのベースラインと同等またはそれ以上の分類精度を、記号文字列タスクで達成した。
• 同じローカルパターンを持つが、シフトされたシーケンスですら、非常に類似したハイパーエンベッディングを生成した。これにより、本手法の類似性保持特性が裏付けられた。
• 本手法はシフト不変性を示した：入力シーケンスのシフトは、出力ハイパーエンベッディングに対して一貫した予測可能な変換を引き起こした。
• 多様な記号データセットにおいても性能が安定しており、特定のデータタイプに限定されない一般化能力を示した。
• 高い効率性とスケーラビリティを維持しており、神経形態的およびナノスケールハードウェアプラットフォームへの展開に適している。