[論文レビュー] Tensors Come of Age: Why the AI Revolution will help HPC

John L. Gustafson, Lenore M. R. Mullin|arXiv (Cornell University)|Sep 26, 2017

Computational Physics and Python Applications被引用数 5

ひとこと要約

この論文は、テンソルベースの計算によって駆動されるAI革命が、自動化されたテンソルアルゴリズム、A Mathematics of Arrays、Psi Calculus、Unum Arithmeticを介して機械的に証明可能でスケーラブルかつ数値的に正確なソフトウェアを可能にすることで、ハイパーパフォーマンスコンピューティング（HPC）を顕著に前進させると主張している。主な貢献は、HPCワークロードにおけるポータビリティ、正しさ、精度を向上させる統一されたフレームワークである。

ABSTRACT

This article discusses how the automation of tensor algorithms, based on A Mathematics of Arrays and Psi Calculus, and a new way to represent numbers, Unum Arithmetic, enables mechanically provable, scalable, portable, and more numerically accurate software.

研究の動機と目的

• 自動化されたテンソルアルゴリズム生成を導入することで、HPCソフトウェアにおける増大する複雑さと不正確さに対処すること。
• Unum Arithmeticの採用を通じて、HPCアプリケーションにおける数値的正確性とポータビリティを向上させること。
• A Mathematics of ArraysとPsi Calculusを用いて、テンソルベースのHPCコードにおける機械的証明可能な正しさを実現すること。
• ディープラーニングにおけるAI革命が、共通の計算パラダイムを共有することで、従来のHPCワークロードに直接的恩恵をもたらすことを示すこと。
• AIとHPCの分野におけるテンソル計算を統合し、開発と検証のオーバーヘッドを低減すること。

提案手法

• 数学的に厳密な方法で配列およびテンソル演算を形式的に指定・推論できるようにするために、A Mathematics of Arraysを活用する。
• 形式的意味論を用いて並列的かつ合成可能なテンソル演算をモデル化・検証するため、Psi Calculusを採用する。
• 数値誤差を低減し正確性を向上させるために、可変精度の数値表現としてUnum Arithmeticを導入する。
• 高水準な仕様から自動的にテンソルアルゴリズムを生成することで、手動でのコーディングエラーを排除し、ポータビリティを向上させる。
• 形式的検証技術を用いて、多様なアーキテクチャ across でテンソルベースのHPCコードの正しさとスケーラビリティを保証する。
• テンソル抽象化と形式的技法を組み合わせることで、証明可能で、ポータブルかつ効率的なHPCソフトウェアを実現する。

実験結果

リサーチクエスチョン

• RQ1 AI分野のテンソル計算フレームワークは、従来のHPCワークロードにおける正しさとパフォーマンスを向上させるために適応可能か？
• RQ2 標準的な浮動小数点演算と比較して、Unum ArithmeticはHPCアプリケーションにおける数値誤差をどの程度低減できるか？
• RQ3 A Mathematics of Arrays や Psi Calculus といった形式的技法は、複雑なテンソルアルゴリズムにおける正しさをどの程度保証できるか？
• RQ4 自動化されたテンソルアルゴリズム生成は、異種HPCアーキテクチャ across でのポータビリティとスケーラビリティにどのような影響を及ぼすか？
• RQ5 AI駆動のテンソル計算の統合は、HPCソフトウェアの信頼性と保守性をどのように向上させるか？

主な発見

• AI分野のテンソル計算をHPCに統合することで、形式的仕様と検証を通じて機械的に証明可能な正しさが実現できる。
• Unum Arithmeticは、計算ニーズに応じて精度を動的に調整することで、数値的正確性を顕著に向上させる。
• 自動化されたテンソルアルゴリズム生成により、HPCアプリケーションにおける開発時間が短縮され、一般的なコーディングエラーが排除される。
• A Mathematics of ArraysとPsi Calculusの組み合わせにより、スケーラブルで合成可能かつ検証可能なテンソル演算が可能になる。
• 高水準な抽象化のおかげで、多様なハードウェアプラットフォーム across でHPCワークロードのポータビリティとパフォーマンスポータビリティが向上する。
• 本論文は、AIのテンソル中心のパラダイムが、次世代の証明可能な正しさを持つHPCソフトウェアの基盤として機能できることを示している。