[논문 리뷰] Exploiting Errors for Efficiency: A Survey from Circuits to Algorithms

Phillip Stanley‐Marbell, Armin Alaghi외 14명|arXiv (Cornell University)|2018. 09. 16.

Low-power high-performance VLSI design참고 문헌 181인용 수 15

한 줄 요약

이 논문은 오차 효율 계산에 대한 크로스 레이어 종합 조사로, 회로, 아키텍처, 프로그래밍 언어, 운영 체제 전반에서 자원 사용을 줄이기 위해 의도적으로 통제 가능한 오차를 수용하는 시스템을 제시한다. 오차 수용성과 크로스 레이어 트레이드오���을 체계화함으로써 정밀도가 떨어지는 응용 프로그램에서 에너지 및 면적 절감이 가능한 종단 간 최적화를 가능하게 한다.

ABSTRACT

When a computational task tolerates a relaxation of its specification or when an algorithm tolerates the effects of noise in its execution, hardware, programming languages, and system software can trade deviations from correct behavior for lower resource usage. We present, for the first time, a synthesis of research results on computing systems that only make as many errors as their users can tolerate, from across the disciplines of computer aided design of circuits, digital system design, computer architecture, programming languages, operating systems, and information theory. Rather than over-provisioning resources at each layer to avoid errors, it can be more efficient to exploit the masking of errors occurring at one layer which can prevent them from propagating to a higher layer. We survey tradeoffs for individual layers of computing systems from the circuit level to the operating system level and illustrate the potential benefits of end-to-end approaches using two illustrative examples. To tie together the survey, we present a consistent formalization of terminology, across the layers, which does not significantly deviate from the terminology traditionally used by research communities in their layer of focus.

연구 동기 및 목표

• Dennard 스케일링과 무어의 법칙의 종료로 인해 증가하는 계산 시스템의 에너지 및 자원 효율성 문제에 대응한다.
• 응용 프로그램의 오차 내성 특성을 활용하여 정확도가 떨어지는 출력 품질을 희생시키지 않고도 자원 사용을 줄이는 기법들을 종합 조사한다.
• 하드웨어, 소프트웨어, 알고리즘 레이어 간의 통일된 용어와 수학적 기법을 정립하여 크로스 레이어 최적화를 가능하게 한다.
• 정확도가 떨어지는 계산 시스템의 오차 메트릭, 이론적 한계, 재현 가능성, 구현에 대한 열린 과제를 규명한다.

제안 방법

• 회로 설계, 컴퓨터 아키텍처, 프로그래밍 언어, 운영 체제 등 다양한 분야의 연구를 종합하여 오차를 수용하는 시스템에 대해 조사한다.
• 시스템 레이어 전반에 걸쳐 일관된 오차 수용성 체계를 도입하며, '오차 효율성'과 '정확도 수용성' 등의 용어를 사용해 용어를 통일한다.
• 크로스 레이어 오차 전파 및 마스킹을 분석하며, 하위 레이어에서 발생한 오차가 상위 레이어에 의해 가려져 자원 절약이 가능하다는 점을 규명한다.
• 두 가지 사례 연구를 통해 종단 간 이점을 설명한다: 신호 처리에서의 근사 산술과 기계 학습을 위한 스토하스틱 컴퓨팅.
• 응용 프로그램 특화 오차 메트릭과 파레토 최적성 트레이드오프를 사용한 오차 효율성 평가 프레임워크를 제안한다.
• 정확도가 떨어지는 통신 기법에 대한 인코딩 및 통신 오버헤드의 이론적 한계를 규명한다.

실험 결과

연구 질문

• RQ1 어떻게 하드웨어 및 소프트웨어 레이어 전반에서 응용 프로그램의 오차 수용성을 체계적으로 활용하여 자원 사용을 줄일 수 있는가?
• RQ2 계산 시스템에서 오차 효율의 기본 한계는 무엇이며, 이를 어떻게 체계적으로 경계할 수 있는가?
• RQ3 다양한 계산 시스템 레이어 간에 일관된 용어와 수학적 모델을 어떻게 확립할 수 있는가? 이는 크로스 레이어 최적화를 가능하게 한다.
• RQ4 정확도가 떨어지는 계산 기법의 재현 가능성, 벤치마킹, 구현에 있어 핵심 과제는 무엇인가?
• RQ5 레이어 간 오차 전파 및 마스킹은 정확도가 떨어지는 시스템의 전체 신뢰성과 효율성에 어떻게 영향을 미치는가?

주요 결과

• 정밀도가 떨어지는 응용 프로그램에서 정확한 계산과의 통제 가능한 편차를 수용함으로써, 근사 계산 기법은 에너지 및 면적 절감을 크게 달성할 수 있다.
• 하위 레이어에서 발생한 오차가 상위 레이어에 의해 가려지는 크로스 레이어 최적화는 각 레이어를 별도로 최적화하는 것보다 더 높은 효율성을 이끌어낸다.
• 기존의 오차 메트릭은 종종 응용 프로그램에 특화되어 있으며 표준화되지 않아 결과의 재현 가능성과 비교가 어렵다.
• 정확도가 떨어지는 통신 기법에 대한 인코딩 효율의 이론적 한계가 확립되어 향후 설계에 기초가 되었다.
• 재현 가능성은 일관되지 않은 용어, 오픈 소스 도구 부족, 실험 문서화 부족으로 인해 여전히 주요 과제이다.
• 회로에서 알고리즘에 이르기까지 오차 수용성을 종단 간 고려하는 접근 방식은 개별 레이어에서의 점별 솔루션보다 더 높은 자원 절감 효과를 낳는다.