[논문 리뷰] Signatory: differentiable computations of the signature and logsignature transforms, on both CPU and GPU

Patrick Kidger, Terry Lyons|arXiv (Cornell University)|2020. 01. 03.

Parallel Computing and Optimization Techniques참고 문헌 35인용 수 51

한 줄 요약

Signatory는 시그니처와 로그시그니처 변환의 미분 가능한 계산을 다루는 CPU 및 GPU 가능 라이브러리로, 새로운 알고리즘 개선 및 전처리(precomputation) 전략을 포함하며 PyTorch 통합을 제공합니다.

ABSTRACT

Signatory is a library for calculating and performing functionality related to the signature and logsignature transforms. The focus is on machine learning, and as such includes features such as CPU parallelism, GPU support, and backpropagation. To our knowledge it is the first GPU-capable library for these operations. Signatory implements new features not available in previous libraries, such as efficient precomputation strategies. Furthermore, several novel algorithmic improvements are introduced, producing substantial real-world speedups even on the CPU without parallelism. The library operates as a Python wrapper around C++, and is compatible with the PyTorch ecosystem. It may be installed directly via exttt{pip}. Source code, documentation, examples, benchmarks and tests may be found at exttt{\url{https://github.com/patrick-kidger/signatory}}. The license is Apache-2.0.

연구 동기 및 목표

• Signatory를 CPU 및 GPU를 모두 지원하는 시그니처 및 로그시그니처 변환 계산 라이브러리로 소개합니다.
• ML 워크플로우에서의 미분 가능 실행을 위한 실용적 속도 향상 및 새로운 알고리즘 기법을 보여줍니다.
• 구간에 대한 효율적인 쿼리를 위한 전처리 및 사전 계산 전략을 제공합니다.
• PyTorch와의 통합 및 모든 변환에 대한 역전파를 시연합니다.

제안 방법

• 스칼라 곱셈과 점근적 복잡도를 줄이기 위한 융합 곱-지수화(fused multiply-exponentiate) 개발.
• 임의의 구간 쿼리를 O(1) 시간에 대답하기 위한 O(L) 전처리 전략 제안.
• 더 빠른 계산을 위한 Lyndon 기저를 넘어서는 더 효율적인 로그시그니처 기저 도입.
• 시켜드 CUDA 코드 없이 LibTorch를 통한 병렬 CPU(OpenMP) 및 GPU 지원 구현.
• 속도와 메모리 효율성을 위한 핸드-written 역전파 제공.

실험 결과

연구 질문

• RQ1 시그니처와 로그시그니처 변환이 실용적인 속도 향상을 동반하며 CPU와 GPU에서 미분 가능하게 계산될 수 있는가?
• RQ2 새로운 알고리즘 기법들(fused multiply-exponentiate, 전처리, 대체 기저)이 기존 라이브러리보다 실제 세계 성능 향상을 제공하는가?
• RQ3 (로그)시그니처의 구간 쿼리를 선형 시간 또는 상수 시간에 효율적으로 대답할 수 있는가?
• RQ4 이들 변환을 통한 역전파가 딥러닝 워크플로우에 대해 가능하고 효율적인가?
• RQ5 Signatory가 PyTorch와 얼마나 잘 통합되며 엔드투엔드 학습을 지원하는가?

주요 결과

• Signatory는 이전의 CPU 구현 대비 상당한 속도 향상을 달성하고 iisignature와 같은 대안에 비해 GPU 실행에서도 이점을 제공합니다.
• GPU 지원은 학습 과정에서 CPU와 GPU 간의 데이터 전송을 줄여 큰 성능 향상을 가능하게 합니다.
• 속도와 메모리 효율성을 위해 핸드-written 그래디언트를 통해 역전파가 전적으로 지원됩니다.
• 임의의 구간에 대해 O(L) 전처리 후 O(1) 쿼리를 가능하게 하는 전처리(precomputation) 기능이 있습니다.
• 전통적인 Lyndon 기반 기저보다 계산 효율성을 개선하는 새로운 로그시그니처 기저가 제시됩니다.