[論文レビュー] Exploiting Errors for Efficiency: A Survey from Circuits to Algorithms

Phillip Stanley‐Marbell, Armin Alaghi+14 more|arXiv (Cornell University)|Sep 16, 2018

Low-power high-performance VLSI design参考文献 181被引用数 15

ひとこと要約

本稿は、回路、アーキテクチャ、プログラミング言語、オペレーティングシステムの各層にわたり、リource使用量を削減するために意図的に制御された誤差を許容する、誤差効率的コンピューティングに関するクロスレイヤー調査を提示する。誤差耐性とクロスレイヤーのトレードオフを形式的に定式化することで、正確性にやや劣るがユーザーが許容可能な出力品質を維持する応用分野において、エネルギーおよび面積の大幅な削減を実現するエンドツーエンド最適化が可能になる。

ABSTRACT

When a computational task tolerates a relaxation of its specification or when an algorithm tolerates the effects of noise in its execution, hardware, programming languages, and system software can trade deviations from correct behavior for lower resource usage. We present, for the first time, a synthesis of research results on computing systems that only make as many errors as their users can tolerate, from across the disciplines of computer aided design of circuits, digital system design, computer architecture, programming languages, operating systems, and information theory. Rather than over-provisioning resources at each layer to avoid errors, it can be more efficient to exploit the masking of errors occurring at one layer which can prevent them from propagating to a higher layer. We survey tradeoffs for individual layers of computing systems from the circuit level to the operating system level and illustrate the potential benefits of end-to-end approaches using two illustrative examples. To tie together the survey, we present a consistent formalization of terminology, across the layers, which does not significantly deviate from the terminology traditionally used by research communities in their layer of focus.

研究の動機と目的

• デナードスケーリングおよびムーアの法則の終焉に伴い、計算システムにおけるエネルギーおよびリソース効率性の向上という課題に対応する。
• 応用分野における誤差耐性を活用する技術を調査し、ユーザーが許容可能な出力品質を損なわずにリソース使用量を削減可能にする。
• ハードウェア、ソフトウェア、アルゴリズムの各レイヤー間で用語と形式的記法を統一し、クロスレイヤー最適化を可能にする。
• 近似計算システムの誤差メトリクス、理論的限界、再現性、および導入に関する未解決の課題を特定する。

提案手法

• 回路設計、コンピュータアーキテクチャ、プログラミング言語、オペレーティングシステムの分野から、誤差を許容するシステムに関する研究を調査・統合する。
• システムの各レイヤーにわたる誤差耐性の一貫した形式的定式化を導入し、用語として「誤差効率性」と「正しさ耐性」を用いて用語を統一する。
• レイヤー間の誤差伝搬とマスキングを分析する。ここで、低レイヤーの誤差が高レイヤーによってマスキングされることで、リソースの節約が可能になる。
• 2つの事例研究を通じてエンドツーエンドの利点を提示する：信号処理における近似算術、機械学習における確率的コンピューティング。
• アプリケーション固有の誤差メトリクスとパレート最適性のトレードオフを用いた、誤差効率性の評価フレームワークを提案する。
• 近似通信技術における符号化および通信オーバーヘッドの理論的限界を特定する。

実験結果

リサーチクエスチョン

• RQ1 ハードウェアおよびソフトウェアの各レイヤーにわたり、応用分野における誤差耐性を体系的に活用することで、リソース使用量をどのように削減できるか？
• RQ2 計算システムにおける誤差効率性の根本的限界は何か。また、それらを形式的に境界づける方法は？
• RQ3 多様な計算システムのレイヤー間で一貫性のある用語と形式的モデルを確立するにはどうすればよいか？
• RQ4 近似計算技術の再現性、ベンチマーク、および導入における主な課題は何か？
• RQ5 レイヤー間をまたがる誤差伝搬とマスキングは、近似システム全体の信頼性および効率性にどのように影響するか？

主な発見

• 誤差耐性のある応用分野において、正確な計算から逸脱する制御された偏差を許容することで、近似計算技術は顕著なエネルギーおよび面積の削減を達成できる。
• 低レイヤーの誤差が高レイヤーによってマスクされるクロスレイヤー最適化は、各レイヤーを個別に最適化するのよりも高い効率性をもたらす。
• 既存の誤差メトリクスはしばしばアプリケーション固有であり、標準化が不十分なため、結果の再現性および比較が困難である。
• 近似通信技術における符号化効率の理論的限界が確立されており、今後の設計の基盤が提供されている。
• 再現性は依然として大きな課題であり、用語の不統一、オープンソースツールの不足、実験文書の不十分さが要因である。
• 回路からアルゴリズムまで誤差耐性を全体として考慮するエンドツーエンドのアプローチは、個々のレイヤーでのポイントソリューションよりも優れたリソース削減を実現する。