[論文レビュー] Finding representative sets of optimizations for adaptive multiversioning applications

Lianjie Luo, Yang Chen+3 more|arXiv (Cornell University)|Jul 14, 2014

Parallel Computing and Optimization Techniques参考文献 26被引用数 5

ひとこと要約

本論文では、実行時におけるデータセット特徴から最適なコードバージョンをマッピングするための機械学習を用いて、動的再コンパイルを必要とせず、自己適応型マルチバージョニングアプリケーションのための最小代表的最適化バージョン集合を自動的に選択する静的マルチバージョニングフレームワークを提案する。反復的でオフラインのコンパイルと pruning、意思決定木ベースのバージョン選択を組み合わせることで、コードサイズが小さく、実行時オーバーヘッドが最小限に抑えられた高いパフォーマンスを実現し、動的再コンパイルを伴わない単一バージョンバイナリーより優れた性能を発揮する。

ABSTRACT

Iterative compilation is a widely adopted technique to optimize programs for different constraints such as performance, code size and power consumption in rapidly evolving hardware and software environments. However, in case of statically compiled programs, it is often restricted to optimizations for a specific dataset and may not be applicable to applications that exhibit different run-time behavior across program phases, multiple datasets or when executed in heterogeneous, reconfigurable and virtual environments. Several frameworks have been recently introduced to tackle these problems and enable run-time optimization and adaptation for statically compiled programs based on static function multiversioning and monitoring of online program behavior. In this article, we present a novel technique to select a minimal set of representative optimization variants (function versions) for such frameworks while avoiding performance loss across available datasets and code-size explosion. We developed a novel mapping mechanism using popular decision tree or rule induction based machine learning techniques to rapidly select best code versions at run-time based on dataset features and minimize selection overhead. These techniques enable creation of self-tuning static binaries or libraries adaptable to changing behavior and environments at run-time using staged compilation that do not require complex recompilation frameworks while effectively outperforming traditional single-version non-adaptable code.

研究の動機と目的

• 静的バイナリにおいて、異なるデータセットに対して複数の最適化バージョンを生成する際のコードサイズの爆発的増加とパフォーマンス低下の課題に対処すること。
• 複雑な動的再コンパイルフレームワークを必要とせずに、静的にコンパイルされたプログラムの実行時適応を可能にすること。
• 多様なデータセットにおいて高いパフォーマンスを維持する最小限かつ代表的な最適化バージョンの集合を特定すること。
• 入力特性から最適なコードバージョンにマッピングするための機械学習を用いた、効率的で低オーバーヘッドの実行時選択メカニズムを開発すること。
• パフォーマンスを維持しつつ、コードブloatを回避するため、バージョン数を最小限に抑えること。特に、異種環境や仮想化環境において有効であるようにすること。

提案手法

• 複数のデータセットを対象に、反復的でオフラインのコンパイルを実行し、パラメータ化された変換（例：ループタイリング、アンローリング）を適用して、多数の最適化済み関数バージョンのプールを生成する。
• 性能を維持しつつコードサイズの増加を制御するため、ヒューリスティックなプルーニング戦略を用いて反復的に非最適なバージョンを削除する。
• 入力サイズやデータアクセスパターンなどのデータセット特徴を抽出し、意思決定木やルール誘導アルゴリズムなどの教師あり機械学習モデルをトレーニングする。
• トレーニング済みのモデルを実行時選択用の実行可能コードに変換し、入力特性に基づく最適なコードバージョンへのマッピングを高速かつ低オーバーヘッドで実現する。
• Open64コンパイラにフレームワークを統合し、GCCへの統合も計画しており、手書きコード、ライブラリ生成コード、またはISA固有のバージョンをサポートする。
• ハードウェアパフォーマンスカウンターや段階的コンパイルを活用し、実行時におけるワークロードの変化に適応可能な自己調整バイナリを実現する。

実験結果

リサーチクエスチョン

• RQ1 コードサイズの爆発的増加を防ぎつつ、複数のデータセットで高いパフォーマンスを維持する最小限かつ代表的な最適化バージョンの集合をどのように選択できるか？
• RQ2 実行時オーバーヘッドを低く抑えつつ、データセット特徴から最適な最適化済み関数バージョンにマッピングするための効果的な機械学習手法は何か？
• RQ3 動的再コンパイルに匹敵するパフォーマンスを達成しつつ、複雑な実行時コンパイルインfraを回避できる静的マルチバージョニングフレームワークは可能か？
• RQ4 反復的オフラインコンパイル、プルーニング、機械学習ベースの選択の組み合わせが、異種環境や仮想化環境におけるアプリケーションの適応性をどのように向上させるか？
• RQ5 異なる分類アルゴリズムを用いたバージョンマッピングにおいて、パフォーマンス向上、コードサイズ、選択オーバーヘッドのトレードオフはどのように変化するか？

主な発見

• 提案されたプルーニングベースの手法は、すべてのテストデータセットでパフォーマンスを維持しつつ、最適化バージョンの数を効果的に削減し、顕著なパフォーマンス低下を回避した。
• 意思決定木およびルール誘導モデルは、データセット特徴から最適なコードバージョンへのマッピングを効果的に実現し、高速かつ低オーバーヘッドの実行時選択を可能にした。
• 本フレームワークにより、動的再コンパイルや複雑な実行時システムを必要とせず、静的バイナリが変化するワークロードや環境に実行時適応できるようになった。
• Open64を用いたカーネルにおける実験的評価では、単一バージョンバイナリーよりも測定可能なパフォーマンス向上が得られ、実行時選択オーバーヘッドは最小限に抑えられた。
• 本手法は、他のコンパイラ、手書きコード、あるいは異なるISAに対しても拡張可能であり、仮想化や異種コンputing環境への展開を可能にした。
• 本フレームワークは、多様な実行シナリオにおいて高いパフォーマンスを維持する自己調整型静的ライブラリやバイナリの実現が実用的であることを示した。