[论文解读] MiniTensor: A Lightweight, High-Performance Tensor Operations Library

Soumyadip Sarkar|arXiv (Cornell University)|Jan 27, 2026

Parallel Computing and Optimization Techniques被引用 0

一句话总结

MiniTensor 是一个开源的 PyTorch 风格张量库，具有 Rust 引擎和 PyO3 绑定，提供一个小型的以 CPU 为中心的框架，具备自动微分、神经网络模块和优化器。它强调极简、正确性和性能，拥有几兆字节的 wheel。

ABSTRACT

We present MiniTensor, an open source tensor operations library that focuses on minimalism, correctness, and performance. MiniTensor exposes a familiar PyTorch-like Python API while it executes performance critical code in a Rust engine. The core supports dense $n$ dimensional tensors, broadcasting, reductions, matrix multiplication, reverse mode automatic differentiation, a compact set of neural network layers, and standard optimizers. In this paper, we describe the design of MiniTensor's architecture, including its efficient memory management, dynamic computation graph for gradients, and integration with Python via PyO3. We also compare the install footprint with PyTorch and TensorFlow to demonstrate that MiniTensor achieves a package size of only a few megabytes, several orders of magnitude smaller than mainstream frameworks, while preserving the essentials needed for research and development on CPUs. The repository can be found at https://github.com/neuralsorcerer/minitensor

研究动机与目标

• 提供一个紧凑、正确且高性能的用于 CPU 研究和教育的张量库。
• 提供一个受 PyTorch 启发的 API，包含 Rust 执行引擎和 Python 绑定。
• 展示在保留关键 DL 功能的同时实现最小化的二进制体积。

提出的方法

• 三层架构：Python API、PyO3 绑定和 Rust 引擎。
• 带有计算图和反向传播的反向模式自动微分。
• 实现核心张量运算（密集张量、广播、归约、矩阵乘法）以及标准的 NN 层、损失函数和优化器。
• 包括 ahead-of-time 编译、LLVM 向量化，以及可用时的可移植 SIMD 等高级性能技术。
• 通过 PyO3 绑定实现与 NumPy 的零拷贝互操作。
• 端到端示例和单元测试以验证正确性和梯度。

实验结果

研究问题

• RQ1 一个面向 CPU 的最小张量库是否能够提供主流框架显著更小的 footprint 下的关键深度学习功能？
• RQ2 基于 Rust 的引擎结合类似 PyTorch 的 API，在 CPU 任务中对常见操作的性能能否接近更大型框架？
• RQ3 在轻量化框架中，二进制大小、审计难度和研究可用性之间的实际权衡是什么？

主要发现

Package and platform	Wheel filename (example)	Size
MiniTensor (Linux x86_64, cp312)	minitensor-0.1.1-...-.whl	2.6 MB
PyTorch (Linux x86_64, cp313t)	torch-2.8.0-...-.whl	887.9 MB
TensorFlow (Linux x86_64, cp312)	tensorflow-2.20.0-...-.whl	620.7 MB

• MiniTensor wheel 只有几兆字节（2.6 MB），而 PyTorch（887.9 MB）和 TensorFlow（620.7 MB）则为数百兆字节。
• 它提供密集张量、广播、归约、矩阵乘法、反向模式自动微分、神经网络层和标准优化器。
• 性能依赖于基于 LLVM 的向量化、提前编译的 Rust 引擎以及可选的可移植 SIMD；GPU 支持在路线图上。
• 通过 PyO3 的 Python 集成实现与兼容的 NumPy 数组的零拷贝转换，保持类似 PyTorch 的易用性。
• 库包含单元测试和用于自动微分正确性的有限差分检查，以及端到端的模型训练示例。
• 该设计强调最小化的内核接口、可审计的代码和在 CPU 上的直接部署。