[논문 리뷰] Shift-Equivariant Similarity-Preserving Hypervector Representations of Sequences

Dmitri A. Rachkovskij|arXiv (Cornell University)|2021. 12. 31.

Ferroelectric and Negative Capacitance Devices인용 수 9

한 줄 요약

이 논문은 희박 이진 분포 표현(SBDR)에서 순열 기반 순서화를 사용하여 시퀀스에 대해 이동에 대해 불변이며 유사도를 유지하는 하이퍼벡터 인코딩 방법을 제안한다. 시퀀스 요소들을 구성적 하이퍼벡터로 표현하고 위치를 인코딩하기 위해 순열을 적용함으로써, 이 방법은 특징이 풍부한 접근 방식과 비슷한 성능을 달성한다. 이는 이동에 대해 강건하고 불변적이며, 구조적 유사성을 유지함을 보여준다.

ABSTRACT

Hyperdimensional Computing (HDC), also known as Vector-Symbolic Architectures (VSA), is a promising framework for the development of cognitive architectures and artificial intelligence systems, as well as for technical applications and emerging neuromorphic and nanoscale hardware. HDC/VSA operate with hypervectors, i.e., distributed vector representations of large fixed dimension (usually > 1000). One of the key ingredients of HDC/VSA are the methods for encoding data of various types (from numeric scalars and vectors to graphs) into hypervectors. In this paper, we propose an approach for the formation of hypervectors of sequences that provides both an equivariance with respect to the shift of sequences and preserves the similarity of sequences with identical elements at nearby positions. Our methods represent the sequence elements by compositional hypervectors and exploit permutations of hypervectors for representing the order of sequence elements. We experimentally explored the proposed representations using a diverse set of tasks with data in the form of symbolic strings. Although our approach is feature-free as it forms the hypervector of a sequence from the hypervectors of its symbols at their positions, it demonstrated the performance on a par with the methods that apply various features, such as subsequences. The proposed techniques were designed for the HDC/VSA model known as Sparse Binary Distributed Representations. However, they can be adapted to hypervectors in formats of other HDC/VSA models, as well as for representing sequences of types other than symbolic strings.

연구 동기 및 목표

• 시퀀스 이동에 대해 불변이면서 유사한 시퀀스 간의 유사성을 유지하는 하이퍼벡터 표현을 개발하는 것.
• 하위시퀀스와 같은 수작업 특징에 의존하지 않고 하이퍼차원 계산(HDC)에서 순서를 인코딩하는 과제를 해결하는 것.
• 유사한 국소 패턴을 가진 시퀀스가 이동되었을 경우에도 구조적 유사성을 유지할 수 있도록 하는 방법을 설계하는 것.
• 희박 이진 분포 표현(SBDR) 모델과 호환되면서도 다른 HDC/VSA 프레임워크에 쉽게 적용 가능한 방법을 확보하는 것.

제안 방법

• 각 시퀀스의 기호는 고차원 공간(SBDR 형식)에서 무작위로 고정된 하이퍼벡터로 매핑된다.
• 각 기호가 시퀀스 내에서 차지하는 위치는 기본 하이퍼벡터에 적용된 순열을 통해 인코딩된다.
• 최종 시퀀스의 하이퍼벡터 표현은 모든 요소의 순열을 적용한 하이퍼벡터들을 결합함으로써 형성된다(예: 초합을 통해).
• 순열 연산은 이동에 대해 등변성을 보장한다: 시퀀스가 이동되면 전체 하이퍼벡터도 해당하는, 예측 가능한 변환을 겪는다.
• 순열 효과의 국소 일관성 덕분에, 근접한 위치에 동일한 요소를 가진 시퀀스 간의 유사성이 유지된다.
• 이 방법은 본질적으로 특징이 없으며, 기호 하이퍼벡터와 위치 순열에만 의존하여 하위시퀀스나 패턴 기반 특징을 피한다.

실험 결과

연구 질문

• RQ1 특징이 없는 하이퍼벡터 인코딩 방법이 서로 이동된 구조적으로 유사한 시퀀스 간의 유사성을 유지할 수 있는가?
• RQ2 제안된 이동에 대해 등변인 인코딩 방법이 시퀀스 분류 과제에서 특징 기반 방법과 비교해 성능 면에서 어떻게 나타나는가?
• RQ3 시퀀스 순서를 인코딩하기 위해 순열을 사용할 때, 하이퍼벡터 공간에서 시퀀스의 구조적 유사성이 얼마나 잘 유지되는가?
• RQ4 도메인 특화의 특징 설계 없이도 이 방법이 다양한 기호 문자열 데이터셋에서 효과적으로 작동하는가?
• RQ5 제안된 인코딩 방법이 희박 이진 분포 표현(SBDR)을 넘어 다른 HDC/VSA 모델로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 완전히 특징이 없는 상태에서도 특징 기반 기준선과 동일하거나 뛰어난 분류 정확도를 달성했다.
• 유사한 국소 패턴을 가진 시퀀스—심지어 이동된 경우에도—매우 유사한 하이퍼벡터를 생성하여, 이 방법의 유사도 유지 성질을 확인했다.
• 이 방법은 이동에 대해 등변성을 입증했다: 입력 시퀀스의 이동은 출력 하이퍼벡터의 예측 가능하고 일관된 변환을 유도했다.
• 다양한 기호 데이터셋에서 성능이 강건하게 유지되어 특정 데이터 유형을 넘어서 일반화되었음을 시사했다.
• 이 방법은 높은 효율성과 확장성을 유지하여 뉴모르픽 및 나노스케일 하드웨어 플랫폼에 구현하기에 적합했다.