[논문 리뷰] Doing Moore with Less -- Leapfrogging Moore's Law with Inexactness for Supercomputing

Sven Leyffer, Stefan M. Wild외 5명|arXiv (Cornell University)|2016. 10. 09.

Parallel Computing and Optimization Techniques참고 문헌 15인용 수 23

한 줄 요약

이 논문은 초고성능 계산에서 에너지 절감을 위해 정밀도를 낮춘 산술을 활용한 이중 단계 접근법을 제안한다. 이후 절감된 에너지를 재투자하여 정확도를 향상시켜, 정확한 고정밀도 계산으로는 도달할 수 없는 결과를 얻는다. 이는 더 스마트한 에너지 사용 방식이 무어의 법칙을 뛰어넘을 수 있음을 보여준다. 이 방법은 고정된 에너지 예산을 유지하면서도 전통적인 더블 정밀도 해법보다 더 높은 정확도를 달성한다.

ABSTRACT

Energy and power consumption are major limitations to continued scaling of computing systems. Inexactness, where the quality of the solution can be traded for energy savings, has been proposed as an approach to overcoming those limitations. In the past, however, inexactness necessitated the need for highly customized or specialized hardware. The current evolution of commercial off-the-shelf(COTS) processors facilitates the use of lower-precision arithmetic in ways that reduce energy consumption. We study these new opportunities in this paper, using the example of an inexact Newton algorithm for solving nonlinear equations. Moreover, we have begun developing a set of techniques we call reinvestment that, paradoxically, use reduced precision to improve the quality of the computed result: They do so by reinvesting the energy saved by reduced precision.

연구 동기 및 목표

• 고성능 계산(HPC)에서 증가하는 에너지 제약 문제를 해결하기 위해 계산 정확도와 에너지 소비 간의 트레이드오���을 재고하고자 한다.
• 낮은 정밀도 산술이 에너지 절감 외에도 에너지 절감분을 전략적으로 재투자함으로써 해법 정확도 향상에 어떻게 기여할 수 있는지 탐색하고자 한다.
• 하이브리드 정밀도와 에너지 재투자를 활용해 고정된 에너지 예산 내에서 정확한 고정밀도 계산보다 더 나은 결과를 얻을 수 있음을 보여주고자 한다.
• 정밀도를 품질 대 비용 트레이드오프에서 조절 가능한 요소로 간주함으로써 HPC 환경에서 계산 자원을 최적화하는 방법론을 제공하고자 한다.

제안 방법

• 논문은 비정확 뉴턴 방법을 사용하여 비선형 방정식을 해결하며, 에너지 소비를 줄이기 위해 낮은 정밀도 부동소수점 산술(예: 단정밀도 또는 반정밀도)을 활용한다.
• 이중 단계 전략을 도입한다: 첫째, 비정확성 적용을 통해 에너지 절감; 둘째, 절감된 에너지를 고정밀도 계산에 재투자하여 해법 정확도 향상.
• 하이브리드 정밀도 하에서 반복적 해법의 수렴 속도(선형 및 2차 수렴)를 모델링하고, 정밀도 수준 $ p_1 $ 및 $ p_2 $와 에너지 비용 $ E(p) \propto p $ 를 사용해 오차 전파의 경계를 유도한다.
• 하이브리드 정밀도 해법의 오차 경계를 수립하여, 달성 가능한 정확도가 높은 정밀도 단계의 정밀도 또는 에너지 재투자로 인한 향상 요인에 의해 제한됨을 보여준다.
• 낮은 정밀도 연산에서 발생하는 에너지 절감분이 계산의 핵심 단계에서 정밀도를 높이기 위해 재지정될 수 있다고 가정한다.
• 이론적 분석은 다양한 정밀도 수준과 수렴 특성 하에서의 에너지 절감 및 정확도 향상 결과를 보여주는 시뮬레이션을 통해 뒷받침된다.

실험 결과

연구 질문

• RQ1 낮은 정밀도 산술은 에너지 절감 외에도 에너지 재투자를 통해 해법 정확도 향상에 기여할 수 있는가?
• RQ2 하이브리드 정밀도와 재투자 전략을 사용할 경우, 고정된 에너지 예산 내에서 해법 정확도 향상의 최대치는 얼마인가?
• RQ3 선형 및 2차 수렴 속도는 반복적 해법에서 정밀도, 에너지 소비, 오차 간의 트레이드오프에 어떻게 영향을 미치는가?
• RQ4 낮은 정밀도 계산에서 발생하는 에너지 절감분을 얼마나 효과적으로 재투자하여 정확한 고정밀도 계산으로는 도달할 수 없는 정확도 향상에 기여할 수 있는가?

주요 결과

• 논문은 고정된 에너지 예산을 유지하면서도 낮은 정밀도 산술과 절감된 에너지 재투자를 통해 정확한 더블 정밀도 계산보다 더 높은 해법 정확도를 달성할 수 있음을 보여준다.
• 해법 정확도에 영향을 주지 않으면서도 에너지 소비를 약 2.x 배 감소시킬 수 있어, 높은 효율성 향상을 가능하게 한다.
• 2차 수렴의 경우, 향상 요인은 제한적인 요소 $ \lambda^{-1}2^{-E(p_1)/E(p_2)} $ 로 제한되며, 이는 강한 수렴 제약 조건 하에서도 재투자로 인한 상당한 성과 향상이 가능함을 보여준다.
• 하이브리드 정밀도 해법의 이론적 오차 경계는 해법 정확도가 최종 단계의 정밀도 또는 에너지 재투자로 인한 향상 요인에 의해 제한됨을 보여준다.
• 이 방법은 '스프링보드 효과'를 가능하게 하여, 에너지 소비를 늘리지 않고도 더 높은 머신 세대의 성능을 달성할 수 있다.
• 이 방법론은 정밀도, 이산화, 근사화, 비동기화 등의 다수의 제어 변수를 동시에 최적화하여 단위 에너지당 최대의 정확도를 달성하는 프레임워크를 제공한다.