[논문 리뷰] Computing on Functions Using Randomized Vector Representations

E. Paxon Frady, Denis Kleyko외 3명|arXiv (Cornell University)|2021. 09. 08.

Ferroelectric and Negative Capacitance Devices참고 문헌 108인용 수 5

한 줄 요약

이 논문은 연속 함수를 랜덤화된 벡터 표현을 사용하여 표현하고 계산할 수 있도록 벡터 심벌 아키텍처(VSA)를 확장한 Vector Function Architecture(VFA)를 소개한다. 분수 거듭제곱 인코딩(FPE)을 통해 데이터 포인트를 벡터로 매핑함으로써, VFA는 벡터 연산이 함수 공간 연산에 해당하는 재생 커널 힐버트 공간(reproducing kernel Hilbert space)을 유도한다. 이로 인해 랜덤 특징을 갖는 투명하고 확장 가능한 커널 머신이 가능해지며, 이미지 인식, 밀도 추정, 비선형 회귀 등 응용 사례에서 성능을 입증한다.

ABSTRACT

Vector space models for symbolic processing that encode symbols by random vectors have been proposed in cognitive science and connectionist communities under the names Vector Symbolic Architecture (VSA), and, synonymously, Hyperdimensional (HD) computing. In this paper, we generalize VSAs to function spaces by mapping continuous-valued data into a vector space such that the inner product between the representations of any two data points represents a similarity kernel. By analogy to VSA, we call this new function encoding and computing framework Vector Function Architecture (VFA). In VFAs, vectors can represent individual data points as well as elements of a function space (a reproducing kernel Hilbert space). The algebraic vector operations, inherited from VSA, correspond to well-defined operations in function space. Furthermore, we study a previously proposed method for encoding continuous data, fractional power encoding (FPE), which uses exponentiation of a random base vector to produce randomized representations of data points and fulfills the kernel properties for inducing a VFA. We show that the distribution from which elements of the base vector are sampled determines the shape of the FPE kernel, which in turn induces a VFA for computing with band-limited functions. In particular, VFAs provide an algebraic framework for implementing large-scale kernel machines with random features, extending Rahimi and Recht, 2007. Finally, we demonstrate several applications of VFA models to problems in image recognition, density estimation and nonlinear regression. Our analyses and results suggest that VFAs constitute a powerful new framework for representing and manipulating functions in distributed neural systems, with myriad applications in artificial intelligence.

연구 동기 및 목표

• 벡터 심벌 아키텍처(VSA)를 이산 기호에서 연속 함수로 확장하여 함수 공간에서 기호 유사 계산이 가능하도록 한다.
• 현재 신경망의 일반화 능력 부족과 해석 불가능성 문제를 해결하기 위해, 함수 표현을 위한 투명하고 대수학적인 프레임워크를 제공한다.
• 분수 거듭제곱 인코딩(FPE)을 일반화하여, 랜덤 벡터 투영을 통해 함수 공간 연산을 지원하는 유사도 커널을 도입하는 방법으로 삼는다.
• VFA가 랜덤 특징을 갖는 대규모 커널 머신을 지원함을 보여주며, Rahimi와 Recht(2007)의 결과를 확장하여 VSA 연산(예: 바인딩 및 덧셈)을 통합한다.
• 이미지 인식, 밀도 추정, 비선형 회귀 등의 응용을 통해 프레임워크를 검증하여 다양한 커널 형태에 대한 강건성과 적응 가능성의 가능성을 입증한다.

제안 방법

• 각 데이터 포인트를 분수 거듭제곱 인코딩(FPE)을 통해 고차원 랜덤 벡터로 매핑한다. 여기서 각 데이터 포인트는 분수 거듭제곱을 취한 랜덤 페이저 벡터들의 곱으로 표현된다.
• FPE 벡터 간의 내적을 통해 양의 정부호 커널을 유도하고, 이로써 함수 공간 연산을 지원하는 재생 커널 힐버트 공간(RKHS)을 형성한다.
• VSA의 대수적 구조—덧셈, 바인딩**(Hadamard 곱), 순열—을 활용하여 함수 덧셈, 함수 합성, 순서 모델링 등의 연산을 수행한다.
• 기본 랜덤 페이저 벡터의 분포가 유도된 커널의 형태를 결정함을 보여주며, 특정 함수 클래스(예: 밴드제한 함수)에 맞게 커널을 맞춤설정할 수 있다.
• Hadamard FPE가 랜덤 푸리에 특징의 특수 케이스임을 보이며, 그러나 VSA 바인딩 연산을 통합함으로써 표준 랜덤 특징 방법에서 찾을 수 없는 함수 표현 조작 기능을 제공한다.
• 독립적인 FPE를 Hadamard 곱을 통해 조합하여 다차원 함수 표현을 구성하며, 의사직교 랜덤 시드를 사용해 차원 간 상호작용을 최소화한다.

실험 결과

연구 질문

• RQ1 랜덤화된 표현을 사용하여 고차원 벡터 공간에서 연속 함수를 표현하고 조작할 수 있는가? 이 과정에서 해석 가능성과 대수적 구조를 유지할 수 있는가?
• RQ2 분수 거듭제곱 인코딩(FPE)이 재생 커널 힐버트 공간(RKHS)에서 함수 공간 연산을 지원하는 타당한 커널을 어떻게 유도하는가?
• RQ3 VFA가 VSA 연산(예: 바인딩 및 덧셈)을 통합함으로써 랜덤 푸리에 특징을 얼마나 일반화하여 확장 가능한 커널 머신을 지원할 수 있는가?
• RQ4 기본 랜덤 벡터의 분포를 조절함으로써 FPE 커널의 형태를 제어할 수 있는가? 이를 통해 밴드제한 함수나 주기적 함수와 같은 다양한 함수 클래스에 적합한 커널을 설계할 수 있는가?
• RQ5 VFA는 이미지 인식, 밀도 추정, 비선형 회귀와 같은 실제 기계 학습 과제에 효과적으로 적용될 수 있는가? 표준 커널 방법과 비교해 성능가능성이 있는가?

주요 결과

• 랜덤 페이저 기반 FPE는 타당한 유사도 커널을 유도하며, 이는 재생 커널 힐버트 공간(RKHS)을 형성하여 함수를 벡터로 표현할 수 있도록 한다.
• 기본 랜덤 벡터의 분포가 커널 함수의 형태를 직접 결정하므로, 밴드제한 함수나 주기적 함수와 같은 특정 함수 클래스에 맞게 커널을 설계할 수 있다.
• 벡터 덧셈과 바인딩과 같은 VFA의 대수적 연산은 함수 공간에서 잘 정의된 연산(예: 함수 덧셈, 합성)에 해당한다.
• Hadamard FPE는 랜덤 푸리에 특징의 특수 케이스임을 보였지만, VFA는 표준 랜덤 특징 방법에서 찾을 수 없는 VSA 바인딩 연산을 통해 함수 표현을 조작할 수 있도록 확장된다.
• 이 프레임워크는 랜덤 특징을 갖는 확장 가능한 커널 머신을 지원하며, 실험 결과는 이미지 인식, 밀도 추정, 비선형 회귀에서 뛰어난 성능을 보였다.
• 의사직교 랜덤 시드의 사용으로 독립된 차원 간의 상호작용이 최소화되어, FPE 조합을 통한 안정적인 다차원 함수 표현이 가능하다.