[논문 리뷰] MiniTensor: A Lightweight, High-Performance Tensor Operations Library

Soumyadip Sarkar|arXiv (Cornell University)|2026. 01. 27.

Parallel Computing and Optimization Techniques인용 수 0

한 줄 요약

MiniTensor는 Rust 엔진과 PyO3 바인딩을 갖춘 오픈 소스이자 PyTorch와 유사한 텐서 라이브러리로, autodiff, NN 모듈 및 옵티마이저를 갖춘 작고 CPU 중심의 프레임워크를 제공합니다. 최소주의, 정확성, 성능을 few-megabyte 휠과 함께 강조합니다.

ABSTRACT

We present MiniTensor, an open source tensor operations library that focuses on minimalism, correctness, and performance. MiniTensor exposes a familiar PyTorch-like Python API while it executes performance critical code in a Rust engine. The core supports dense $n$ dimensional tensors, broadcasting, reductions, matrix multiplication, reverse mode automatic differentiation, a compact set of neural network layers, and standard optimizers. In this paper, we describe the design of MiniTensor's architecture, including its efficient memory management, dynamic computation graph for gradients, and integration with Python via PyO3. We also compare the install footprint with PyTorch and TensorFlow to demonstrate that MiniTensor achieves a package size of only a few megabytes, several orders of magnitude smaller than mainstream frameworks, while preserving the essentials needed for research and development on CPUs. The repository can be found at https://github.com/neuralsorcerer/minitensor

연구 동기 및 목표

• CPU 연구 및 교육을 위한 간결하고 정확하며 고성능의 텐서 라이브러리를 제공한다.
• Rust 실행 엔진과 Python 바인딩을 갖춘 PyTorch에서 영감을 받은 API를 제공한다.
• 필수 DL 기능을 보존하면서 이진 파일 크기를 최소화한다.

제안 방법

• 세 계층 구조: Python API, PyO3 바인딩, 및 Rust 엔진.
• 연산 그래프와 역전파를 이용한 역방향 모드 자동 미분.
• 밀집 텐서, 브로드캐스팅, 축소, 행렬 곱셈 및 표준 NN 계층, 손실 함수, 최적화 도구의 핵심 텐서 연산 구현.
• 사전 컴파일, LLVM 벡터화, 가능한 경우 포터블 SIMD를 포함한 고급 성능 기술.
• PyO3 바인딩을 통한 NumPy와의 제로카피 상호 운용성.
• 정확성 검증을 위한 엔드 투 엔드 예제 및 단위 테스트를 통한 Gradients 확인.

실험 결과

연구 질문

• RQ1 주류 프레임워크보다 훨씬 작은 발자국으로도 핵심 딥 러닝 기능을 제공하는 최소 CPU 기반 텐서 라이브러리가 가능한가?
• RQ2 Rust 기반 엔진이 PyTorch와 유사한 API를 갖추었을 때 일반적인 CPU 작업에서 대규모 프레임워크의 성능에 얼마나 근접할 수 있는가?
• RQ3 가벼운 프레임워크에서 이진 파일 크기, 감사 용이성, 연구 용이성 사이의 실용적 트레이드오프는 무엇인가?

주요 결과

Package and platform	Wheel filename (example)	Size
MiniTensor (Linux x86_64, cp312)	minitensor-0.1.1-...-.whl	2.6 MB
PyTorch (Linux x86_64, cp313t)	torch-2.8.0-...-.whl	887.9 MB
TensorFlow (Linux x86_64, cp312)	tensorflow-2.20.0-...-.whl	620.7 MB

• MiniTensor 휠은 PyTorch(887.9 MB) 및 TensorFlow(620.7 MB)에 비해 몇 메가바이트 규모이다(2.6 MB).
• 밀집 텐서, 브로드캐스팅, 축소, 행렬 곱셈, 역방향 모드 자동 미분, 신경망 계층 및 표준 최적화 도구를 제공합니다.
• 성능은 LLVM 기반 벡터화, 사전 컴파일, 선택적 포터블 SIMD를 갖춘 Rust 엔진에 의존하며, GPU 지원은 로드맵에 있습니다.
• PyO3를 통한 Python 통합으로 호환 가능한 NumPy 배열과의 제로 카피 변환이 가능해 PyTorch와 같은 사용 편의성을 유지합니다.
• 라이브러리는 자동 미분 정확성에 대한 단위 테스트 및 유한 차분 검사, 엔드투엔드 모델 학습 예제를 포함합니다.
• 디자인은 최소 커널 표면, 감사 가능한 코드, 그리고 CPU에서의 간단한 배포를 강조합니다.