[논문 리뷰] Spike-based primitives for graph algorithms

Kathleen E. Hamilton, Tiffany M. Mintz외 1명|arXiv (Cornell University)|2019. 03. 25.

Advanced Memory and Neural Computing참고 문헌 19인용 수 5

한 줄 요약

이 논문은 스파iking 뉴런 기반의 그래프 알고리즘 primitive를 제안하며, 스파이크 전파의 내재된 병렬성에 기반해 추출, 순회, 검증 작업을 구현한다. 정적 및 유연성 있는 시냅스 모두가 최단 경로, 삼각형 수세기, 클리크 탐지와 같은 그래프 primitive를 효율적으로 계산할 수 있음을 입증하며, 핵심 연산의 시간 복잡도가 이벤트 기반 스파이크 다이내믹스를 사용해 O(1) 또는 O(d)임을 보여준다.

ABSTRACT

In this paper we consider graph algorithms and graphical analysis as a new application for neuromorphic computing platforms. We demonstrate how the nonlinear dynamics of spiking neurons can be used to implement low-level graph operations. Our results are hardware agnostic, and we present multiple versions of routines that can utilize static synapses or require synapse plasticity.

연구 동기 및 목표

• 신경망 응용을 넘어서 그래프 알고리즘 실행을 위한 뉴로모픽 컴퓨팅을 새로운 플랫폼으로 탐색하기 위해.
• 이산적 그래프 연산을 최소한의 계산 오버헤드로 이벤트 기반 스파이크 뉴런 시스템에 매핑하는 데 도전하기 위해.
• 유연성 있는 시냅스가 있는가 없는가에 관계없이 모두 작동하는 하드웨어에 종속되지 않는 구현을 제공하기 위해.
• 더 큰 그래프 분석 파이프라인의 빌딩 블록이 될 수 있는 스파이크 기반 primitive에 대한 수학적 기초를 확립하기 위해.
• 스파이크 뉴런이 비선형 다이내믹스와 스파이크 전파를 통해 그래프 이론적 연산을 자연스럽게 표현할 수 있음을 보여주기 위해.

제안 방법

• 각 정점의 차수 또는 구조적 역할에 따라 다릅니다. 이에 따라 뉴런의 임계값 $v_{th}$ 를 설정합니다.
• 등방성 스파이크 전파를 사용합니다: 한 뉴런의 단일 스파이크가 모든 연결된 뉴런으로 동시에 전파되며, 이는 그래프 탐색 및 부분그래프 분석에서 막대한 병렬성을 가능하게 합니다.
• 반복적 또는 병렬 스파이크 전파를 통해 추출 루틴(예: 근접 이웃, 단일 소스 최단 경로)을 구현하며, 최대 클럭 시간(MCT)은 그래프 구조와 임계값 대 가중치 비율에 의해 제한됩니다.
• 스파이크 수렴을 사용해 순서 정렬 알고리즘(예: 삼각형 수세기)을 설계합니다: 정점은 정해진 임계값에 도달한 스파이크 수를 수신했을 때만 발화합니다. 이는 삼각형과 같은 구조적 특성을 나타냅니다.
• 클리크 검증 primitive를 만들기 위해 후보 $K_n$ 부분그래프의 뉴런 임계값을 $n-1$로 설정합니다. 내부 발화가 전체 연결성을 확인합니다.
• 이중 구현을 제공합니다: 플라스틱성 없이도 작동하는 정적 시냅스를 사용한 버전과, 더 빠르고 병렬 실행이 가능한 플라스틱 시냅스를 사용한 버전이며, 각 루틴에 대한 복잡도 분석을 포함합니다.

실험 결과

연구 질문

• RQ1 스파이크 뉴런은 내재된 다이내믹스를 통해 최단 경로 계산 및 부분그래프 순회와 같은 기본 그래프 연산을 자연스럽게 구현할 수 있는가?
• RQ2 스파이크 기반 primitive는 플라스틱성 유무에 관계없이 모두 작동하는 하드웨어에 종속되지 않는 방식으로 설계될 수 있는가?
• RQ3 伝통적 알고리즘과 비교해 스파이크 기반 그래프 primitive의 계산 복잡도(클럭 스텝 수 및 뉴런 읽기/쓰기 횟수 기준)는 어떠한가?
• RQ4 스파이크 수렴을 사용해 스파이크 수와 임계값 처리만으로 클리크나 삼각형과 같은 구조적 특성을 검증할 수 있는가?
• RQ5 스파이크 기반 그래프 알고리즘에서 시냅스 유연성은 반복적 정적 시냅스 방식 대비 계산 시간을 얼마나 줄일 수 있는가?

주요 결과

• 정적 시냅스를 사용할 경우, $v_{th}/s_w = 1$ 조건에서 근접 이웃 추출이 단일 클럭 스텝 내에 완료되며, 읽기 0회, 쓰기 1회만 필요합니다.
• 정적 시냅스를 사용한 클리크 검증은 단일 클럭 스텝 내에 완료되며, 후보 $K_n$에 대해 $v_{th} = n-1$로 설정하고, 모든 $n$개의 뉴런이 $n-1$개의 도착 스파이크에 반응해 발화해야 성공합니다.
• 모서리 기반 탐지 방식을 사용한 삼각형 순회는 $v_{th}/s_w = 2$ 조건에서 단일 클럭 스텝 내에 완료되며, 정점 기반 순회에서는 $d+1$회의 쓰기 작업이 필요합니다. 여기서 $d$는 최대 차수입니다.
• 부분그래프 추출의 경우, 정적 시냅스 버전은 $N+1$개의 클럭 스텝과 두 번의 쓰기 작업이 필요하지만, 플라스틱 시냅스 버전은 이 수치를 두 스텝으로 줄이며, 읽기 1회, 쓰기 2회만 필요합니다.
• 플라스틱 시냅스의 사용은 병렬 실행을 가능하게 하며, 특정 연산에서 MCT를 $O(N)$에서 $O(1)$로 줄여, 적절한 하드웨어 환경에서 성능을 크게 향상시킵니다.
• 이 프레임워크는 하이브리드 계산을 지원합니다: 스파이크 기반 primitive는 중간 결과를 저장하기 위해 비스파이킹 데이터 구조와 조합될 수 있으며, 확장 가능하고 이질적인 그래프 알고리즘을 가능하게 합니다.