[論文レビュー] Linnea: Automatic Generation of Efficient Linear Algebra Programs

Henrik Barthels, Christos Psarras+1 more|arXiv (Cornell University)|Dec 30, 2019

Parallel Computing and Optimization Techniques参考文献 50被引用数 4

ひとこと要約

Linneaは、高レベルの線形代数式を最適化されたBLASおよびLAPACKカーネル呼び出しのシーケンスに自動的に変換するコード生成ツールです。記号的書き換え規則とベストファーストサーチアルゴリズムを用いて、正しく最適化されたコードを生成し、MATLAB、Julia、Eigen、Armadilloといった高レベル言語を最大10倍高速にします。125のテスト問題においてその効果を確認しました。

ABSTRACT

The translation of linear algebra computations into efficient sequences of library calls is a non-trivial task that requires expertise in both linear algebra and high-performance computing. Almost all high-level languages and libraries for matrix computations (e.g., Matlab, Eigen) internally use optimized kernels such as those provided by BLAS and LAPACK; however, their translation algorithms are often too simplistic and thus lead to a suboptimal use of said kernels, resulting in significant performance losses. In order to combine the productivity offered by high-level languages, and the performance of low-level kernels, we are developing Linnea, a code generator for linear algebra problems. As input, Linnea takes a high-level description of a linear algebra problem; as output, it returns an efficient sequence of calls to high-performance kernels. Linnea uses a custom best-first search algorithm to find a first solution in less than a second, and increasingly better solutions when given more time. In 125 test problems, the code generated by Linnea almost always outperforms Matlab, Julia, Eigen and Armadillo, with speedups up to and exceeding 10x.

研究の動機と目的

• 高レベルの線形代数抽象化とBLASやLAPACKのような低レベルの最適化カーネルとの間のパフォーマンスギャップを解消すること。
• 高パフォーマンスコンピューティングの専門知識が不要な状態で、数学的式を効率的で正しいライブラリ呼び出しのシーケンスに自動的に翻訳すること。
• パフォーマンス向上のための手動最適化による作業負荷とエラーのリスクを低減すること。
• 記号的最適化と分野固有の知識を活用することで、非専門家および専門家が両方とも高性能なコードを生成できるようにすること。
• 高レベルの表現力と低レベルのパフォーマンスを組み合わせることで、科学的計算の生産性を向上させること。

提案手法

• 行列、ベクトル、スカラー、加算、乗算、転置、逆行列などの高レベルの線形代数式を入力として受け入れる。
• 代数的恒等式（例：分配法則、共通部分式の再利用）の適用を目的とした記号的変形と書き換え規則を用いてパフォーマンス最適化を行う。
• 可能なコードシーケンスの探索空間を、効率的な解を優先するカスタムベストファーストサーチアルゴリズムで探索する。
• Juliaコードを出力として生成し、Juliaの効率的なBLAS/LAPACKラッパーと拡張性を活かして高性能を実現する。
• 行列の性質（例：SPD、三角行列、対称行列）を注釈としてサポートし、カーネル選択と最適化を支援する。
• コストモデルを用いて探索をガイドし、探索の分岐を統合することで、時間の経過とともに解の品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 記号的コード生成ツールは、MATLAB、Julia、Eigen、Armadilloといった高レベル言語よりも、より効率的な線形代数コードを自動的に生成できるか？
• RQ2 記号的書き換え規則と組み合わせたベストファーストサーチ戦略は、高性能なコードシーケンスを発見するのにどの程度効果的か？
• RQ3 線形代数式の自動最適化は、単純な翻訳によって生じるパフォーマンスギャップをどの程度縮小できるか？
• RQ4 行列の性質（例：SPD、三角行列）の統合は、コード生成の品質をどの程度向上させるか？
• RQ5 自動線形代数コード合成の文脈において、生成時間とコード品質のトレードオフはどのようなものか？

主な発見

• 125のテスト問題において、Linneaが生成したコードはMATLAB、Julia、Eigen、Armadilloを常に上回り、最大10倍以上の高速化を達成した。
• Linneaは1秒未満で解を見つけることができ、時間の経過とともに解を改善し続けた。これは、最適化空間における効率的な探索を示している。
• 記号的書き換え規則の使用により、正しく最適化されたコードが生成され、手動最適化で生じる正しさの問題を回避できた。
• 行列の性質（例：SPD、三角行列）の統合により、Cholesky分解や特殊なソルバーなどの最適なカーネルを選択でき、計算コストを削減した。
• 生成コードは、Eigen や Armadillo のライブラリで使用された最適化関数を含む「ナーバル」および「推奨」実装よりも効率的だった。
• コストモデルは探索を効果的にガイドし、探索分岐の統合により、時間の経過とともに解の品質が向上した。