[論文レビュー] Doing Moore with Less -- Leapfrogging Moore's Law with Inexactness for Supercomputing

Sven Leyffer, Stefan M. Wild+5 more|arXiv (Cornell University)|Oct 9, 2016

Parallel Computing and Optimization Techniques参考文献 15被引用数 23

ひとこと要約

本稿は、エネルギー消費を削減するための低精度演算を活用した2段階アプローチを提案する。その後、そのエネルギー節約分を再投資して、正確な高精度計算では達成できない品質を超える解の品質を向上させる。これにより、より知的なエネルギー使用がムーアの法則を凌駕できることを示している。本手法は、固定されたエネルギー予算を維持しながら、従来の倍精度ソルバーを上回る高い精度を達成する。

ABSTRACT

Energy and power consumption are major limitations to continued scaling of computing systems. Inexactness, where the quality of the solution can be traded for energy savings, has been proposed as an approach to overcoming those limitations. In the past, however, inexactness necessitated the need for highly customized or specialized hardware. The current evolution of commercial off-the-shelf(COTS) processors facilitates the use of lower-precision arithmetic in ways that reduce energy consumption. We study these new opportunities in this paper, using the example of an inexact Newton algorithm for solving nonlinear equations. Moreover, we have begun developing a set of techniques we call reinvestment that, paradoxically, use reduced precision to improve the quality of the computed result: They do so by reinvesting the energy saved by reduced precision.

研究の動機と目的

• 高性能計算（HPC）における増大するエネルギー制約に対処するため、計算の品質とエネルギー消費のトレードオフを再考すること。
• 低精度演算がエネルギー節約に役立てるだけでなく、エネルギー節約分を戦略的に再投資することで解の品質を向上させることの可能性を探ること。
• ハイブリッド精度とエネルギー再投資を用いることで、固定されたエネルギー予算でも正確な高精度計算よりも優れた結果が得られることを示すこと。
• 精度を品質対コストのトレードオフにおける調整可能なパrameterと見なすことにより、HPCにおける計算リソースの最適化手法を提供すること。

提案手法

• 非線形方程式を解くために不正確ニュートン法を採用し、エネルギー消費を削減するため低精度浮動小数点演算（例：単精度や半精度）を用いる。
• 2段階戦略を導入する：第一に、不正確性を用いてエネルギーを節約する。第二に、節約したエネルギーを解の品質を向上させるために高精度計算に再投資する。
• ハイブリッド精度下での反復ソルバーの収束速度（線形および二次収束）をモデル化し、精度レベル $ p_1 $ および $ p_2 $ とエネルギー消費 $ E(p) \propto p $ を用いて誤差伝搬の上限を導出する。
• ハイブリッド精度ソルバーの誤差バウンドを定式化し、達成可能な精度が、最終段階の精度またはエネルギー再投資による改善要因のどちらかによって制限されることを示す。
• 低精度演算によるエネルギー節約分が、計算の重要な段階で精度を向上させるために再利用可能であると仮定する。
• 理論的分析は、さまざまな精度レベルと収束特性下でのエネルギー節約と品質向上を示すシミュレーションによって裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 低精度演算をエネルギー節約の手段として用いるだけでなく、エネルギー節約分を再投資することで解の品質を向上させることは可能か？
• RQ2 ハイブリッド精度と再投資を用いる場合、固定されたエネルギー予算内で得られる解の品質の最大向上はどの程度か？
• RQ3 線形収束と二次収束の両方が、反復ソルバーにおける精度、エネルギー、誤差のトレードオフにどのように影響するか？
• RQ4 低精度計算によるエネルギー節約分を、正確な高精度計算では達成できない精度向上に効果的に再投資できる程度はどの程度か？

主な発見

• 本稿は、低精度演算を用い、そのエネルギー節約分を再投資することで、固定されたエネルギー予算でも正確な倍精度計算を上回る解の品質が達成できることを示している。
• 解の品質に影響を与えることなく、エネルギー消費を2.x倍まで削減でき、顕著な効率向上が可能である。
• 二次収束の場合は、改善要因が $ \lambda^{-1}2^{-E(p_1)/E(p_2)} $ のような小さな要因で制限されるが、強力な収束制約下でも再投資による顕著な向上が得られることを示している。
• ハイブリッド精度ソルバーの理論的誤差バウンドは、解の品質が最終段階の精度またはエネルギー再投資による改善要因のどちらかによって制限されることを示している。
• 本アプローチにより「飛躍的」な効果が得られる：エネルギー消費を増やさずに、より高いマシン世代の性能に相当する結果が得られる。
• 本手法は、精度、離散化、近似、非同期性といった複数のパrameterを同時に最適化することで、エネルギー単位あたりの品質を最大化するフレームワークを提供する。