[論文レビュー] Mechanism to Mitigate AVX-Induced Frequency Reduction

Mathias Gottschlag, Frank Bellosa|arXiv (Cornell University)|Dec 20, 2018

Cardiac Arrhythmias and Treatments参考文献 14被引用数 4

ひとこと要約

この論文では、Intel CPUにおけるAVXによる周波数低下を軽減するソフトウェアベースのコア専用化メカニズムを提案している。AVX2/AVX-512命令の実行をコアの一部に制限することで、周波数低下を特定のコアに限定し、スケーリングの影響を最小限に抑える。スケジューラインタフェースを介したスレッド移行により、アプリケーションレベルの変更を除き手動のコードアノテーションが必要な以外、性能変動を70％以上低減する。

ABSTRACT

Modern Intel CPUs reduce their frequency when executing wide vector operations (AVX2 and AVX-512 instructions), as these instructions increase power consumption. The frequency is only increased again two milliseconds after the last code section containing such instructions has been executed in order to prevent excessive numbers of frequency changes. Due to this delay, intermittent use of wide vector operations can slow down the rest of the system significantly. For example, previous work has shown the performance of web servers to be reduced by up to 10% if the SSL library uses AVX-512 vector instructions. These performance variations are hard to predict during software development as the performance impact of vectorization depends on the specific workload. We describe a mechanism to reduce the slowdown caused by wide vector instructions without requiring extensive changes to existing software. Our design allows the developer to mark problematic AVX code regions. The scheduler then restricts execution of this code to a subset of the cores so that only these cores' frequency is affected. Threads are automatically migrated to a suitable core whenever necessary. We identify a suitable load balancing policy to ensure good utilization of all available cores. Our approach is able to reduce the performance variability caused by AVX2 and AVX-512 instructions by over 70%.

研究の動機と目的

• Intel CPUにおけるAVX2/AVX-512命令による周波数スケーリングが引き起こすハイブリッドワークロードにおける性能劣化を是正すること。
• ベクトル化されたコードが関係のないスカラワークロードに悪影響を及えるシステムにおいて、性能変動を低減し、性能の合成可能性を回復させること。
• 影響を受けるコアにのみ周波数低下を限定する、侵襲性の低いメカニズムを設計すること。
• スレッド移行が均一なCPUアーキテクチャにおいてコア専用化を透明に実現する手法としての妥当性と有効性を評価すること。

提案手法

• メカニズムはスケジューラインタフェースを用い、AVX2またはAVX-512命令を使用するコード領域をマークすることで、自動的なスレッド移行を可能にする。
• 幅広いベクタ命令の実行を許可するコアは一部のコアに限定されるため、周波数低下はそのコアにのみ影響し、システム全体に及ばない。
• スレッドがベクタ命令をAVX対応でないコアで実行しようとした際に、スレッド移行が発火する。
• システムは既存のフェイルアンドマイグレートメカニズムを活用し、命令例外を介してAVX対応コアへの移行を開始する。
• プロトタイプはMuQSSスケジューラと統合されており、手動のインストルメンテーションによりベクトル化されたコードセグメントを特定している。
• 今後の課題として、ディアセンブリ、パフォーマンスカウンタ、および最後のブランチ記録を用いた自動検出を計画している。

実験結果

リサーチクエスチョン

• RQ1 AVX2/AVX-512の実行をコアの一部に限定することで、周波数スケーリングに起因するシステム全体の性能劣化を軽減できるか？
• RQ2 スレッド移行は、均一なCPUアーキテクチャにおけるコア専用化を実現する侵襲性の低いメカニズムとして、どの程度有効か？
• RQ3 スケジューラレベルのインタフェースによるベクトル化コード領域のマークは、性能変動の最小化にどの程度効果的か？
• RQ4 ハードウェアパフォーマンスカウンタおよび最後のブランチ記録を用いて、AVX集約コード領域の自動検出が可能か？

主な発見

• 評価されたワークロードにおいて、提案されたメカニズムはAVXによる周波数低下の影響を70％以上低減した。
• このアプローチにより、周波数低下がベクトル化コードを実行しているコアにのみ限定され、他のコアでは完全な性能が維持された。
• nginxおよびOpenSSLワークロードを用いた評価により、高いスループットを維持しながら性能変動を最小限に抑えることが確認された。
• ベクトル化コード領域への手動インストルメンテーションにより、アプリケーションの変更なしに透明なスレッド移行が実現した。
• プロトタイプは、既存のIntelサーバCPU上でもソフトウェア定義のコア専用化が実現可能で効果的であることを示した。
• 故障と移行技術を用いた自動化（FXSTORサイズ制限による例外発生）は、手動インストルメンテーションを排除する上で有望である。