[論文レビュー] Array operators using multiple dispatch: a design methodology for array implementations in dynamic languages

Jeff Bezanson, Jiahao Chen+3 more|arXiv (Cornell University)|Jul 14, 2014

Parallel Computing and Optimization Techniques参考文献 26被引用数 26

ひとこと要約

この論文は、複数ディpatchを用いた動的言語における配列演算の実装のための設計手法を提示しており、高水準のユーザー定義配列セマンティクスを、手で最適化されたC言語コードに匹敵する性能で実現可能である。マルチメソッド署名と静的型推論を活用することで、ビュー、分散配列、ユニット付き計算といった柔軟で拡張可能な配列抽象化をサポートするとともに、LLVMベースの最適化によって抽象化のオーバーヘッドを排除する。

ABSTRACT

Arrays are such a rich and fundamental data type that they tend to be built into a language, either in the compiler or in a large low-level library. Defining this functionality at the user level instead provides greater flexibility for application domains not envisioned by the language designer. Only a few languages, such as C++ and Haskell, provide the necessary power to define $n$-dimensional arrays, but these systems rely on compile-time abstraction, sacrificing some flexibility. In contrast, dynamic languages make it straightforward for the user to define any behavior they might want, but at the possible expense of performance. As part of the Julia language project, we have developed an approach that yields a novel trade-off between flexibility and compile-time analysis. The core abstraction we use is multiple dispatch. We have come to believe that while multiple dispatch has not been especially popular in most kinds of programming, technical computing is its killer application. By expressing key functions such as array indexing using multi-method signatures, a surprising range of behaviors can be obtained, in a way that is both relatively easy to write and amenable to compiler analysis. The compact factoring of concerns provided by these methods makes it easier for user-defined types to behave consistently with types in the standard library.

研究の動機と目的

• コンパイラレベルでのハードコードに依存せずに、動的言語における柔軟で高性能な配列演算の実装という課題に取り組む。
• 配列のランクやインデックスパターンをコンパイル時に把握する必要がある（例：C++テンプレート、Haskell Repa）静的配列ライブラリの制限を克服する。
• 実行時ランク、動的ディパッチ、複雑なメタデータ（例：単位、分散）をサポートするユーザー定義配列型と演算を維持しつつ、パフォーマンスを確保する。
• メソッドディパッチと型推論を用いて、配列インデックス、ビュー、分散配列の統一的で合成可能な抽象化レイヤーを提供する。
• 動的言語における配列実装が、高度な静的解析とコンパイラ最適化を通じて、手で最適化されたCコードに匹敵するパフォーマンスを達成できることを示す。

提案手法

• 引数の型（形状、ストライド、メタデータを含む）に基づいてディパッチするメソッド署名を用いて、インデックス、ビューなどの配列演算を定義する。
• 形状、ストライド、連続性ランクを型パrameterとして表現することで、ContiguousViewなどの特別なビュー型への効率的なディパッチを可能にする。
• データフロー型推論を活用し、インデックス演算の戻り型をコンパイル時に決定することで、ディパッチチェーンの最適化を可能にする。
• インデックス式における連続する先頭次元の数を計算する restrict_crank 関数を実装し、最適なビュー型の選択を支援する。
• 抽象化のオーバーヘッドを排除するために、LLVMの最適化パスを再利用し、高水準な配列演算を効率的な機械語に変換する。
• 同じディパッチメカニズムを用いて、分散配列やユニット付き計算の拡張可能な抽象化を設計し、型安全性とパフォーマンスを保証する。

実験結果

リサーチクエスチョン

• RQ1 Juliaのような動的言語における複数ディパッチは、配列ランクのコンパイル時知識がなくても、高性能でユーザー拡張可能な配列抽象化を実現できるか？
• RQ2 型ベースのディパッチを用いて、配列ビューとインデックスをどのように実装すれば、柔軟性とパフォーマンスの両立を達成できるか？
• RQ3 静的型推論とコンパイラ最適化は、高水準な配列演算における抽象化のオーバーヘッドをどの程度排除できるか？
• RQ4 同じディパッチメカニズムが、分散配列、ユニット付き数量、ネストされたインデックスパターンといった多様な配列セマンティクスをサポートできるか？
• RQ5 従来の静的ライブラリアプローチ（例：C++テンプレート、Haskell Repa）と比較して、本手法は表現力とパフォーマンスの面でどの程度優れているか？

主な発見

• 複数ディパッチの使用により、1つの高水準インデックス関数が多様な配列型とインデックスパターンを処理でき、コンパイル時に最も効率的な実装が選択される。
• インデックス式の静的解析に基づき、特別なビュー型（例：ContiguousView）を構築できる。これにより、メモリレイアウトの認識に基づいたパフォーマンス向上が可能になる。
• 型推論とLLVMベースの最適化により、抽象化のオーバーヘッドが排除され、ユーザー定義配列演算が手で最適化されたCコードに匹敵するパフォーマンスを達成できる。
• 拡張可能で型安全なメソッド署名を用いることで、分散配列やユニット付き計算といった複雑な配列セマンティクスをサポートできる。
• ユーザー定義型と標準ライブラリ型の間でシームレスに統合され、型の階層全体で一貫した振る舞いが保証される。
• コンパイル時に型不一致（例：互換性のない単位）を検出でき、エラーハンドリングのためのフォールバックはたった1行のコードで実装可能である。