[논문 리뷰] An Error-Resilient Redundant Subspace Correction Method

Tao Cui, Jinchao Xu외 1명|arXiv (Cornell University)|2013. 09. 01.

Matrix Theory and Algorithms참고 문헌 38인용 수 4

한 줄 요약

이 논문은 고성능 과학 계산에서 고장 내성 성능을 햖을 수 있도록 반복적 선형 해법기가 감지 가능한 오류 상황에서도 수렴을 유지할 수 있도록 하는 冗잔트 부분공간 보정(RSC) 방법을 제안한다. 이 방법은 부분공간의 중복 투영을 사용하여 한 프로세서가 장애가 발생하더라도 수렴을 보장하며, 최소한의 계산 오버헤드와 낮은 통신 비용을 유도하여 엑사스케일 시스템에서의 평균 고장 간격(MTTF)을 크게 향상시킨다.

ABSTRACT

As we stride toward the exascale era, due to increasing complexity of supercomputers, hard and soft errors are causing more and more problems in high-performance scientific and engineering computation. In order to improve reliability (increase the mean time to failure) of computing systems, a lot of efforts have been devoted to developing techniques to forecast, prevent, and recover from errors at different levels, including architecture, application, and algorithm. In this paper, we focus on algorithmic error resilient iterative linear solvers and introduce a redundant subspace correction method. Using a general framework of redundant subspace corrections, we construct iterative methods, which have the following properties: (1) Maintain convergence when error occurs assuming it is detectable; (2) Introduce low computational overhead when no error occurs; (3) Require only small amount of local (point-to-point) communication compared to traditional methods and maintain good load balance; (4) Improve the mean time to failure. With the proposed method, we can improve reliability of many scientific and engineering applications. Preliminary numerical experiments demonstrate the efficiency and effectiveness of the new subspace correction method.

연구 동기 및 목표

• 엑사스케일 슈퍼컴put링에서 증가하는 하드웨어 및 소프트웨어 오류에 의해 위협받는 신뢰성과 시스템 가동 시간 문제를 해결한다.
• 대규모 PDE 시뮬레이션에 핵심적인 반복적 선형 해법기에 대해 높은 계산 비용이나 통신 비용 없이 고장 내성을 향상시킨다.
• 오류 발생 시에도 수렴을 유지할 수 있는 확장 가능한 알고리즘 수준의 솔루션을 개발한다.
• 오류가 없는 상황에서도 성능 저하를 최소화하면서 양호한 로드 밸런싱과 낮은 포인트 투 포인트 통신을 유지한다.
• 알고리즘 수준의 중복성을 통합하여 과학 응용 프로그램의 평균 고장 간격(MTTF)을 향상시킨다.

제안 방법

• 추가 색소프 및 부분공간 보정 방법에 기반한 일반적인 중복 부분공간 보정(RSC) 프레임워크를 수립한다.
• 오류 발생 시 수렴을 유지할 수 있도록 중복된 부분공간을 사용하는 연속적 중복 부분공간 보정(SRSC) 방법을 구성한다.
• 수렴이 오류 상황에서도 보장되도록 $ \|I - B_{\text{SRSC}}A\|_A \leq \|I - B_{\text{SSC}}A\|_A $ 를 만족하는 조건자 $ B_{\text{SRSC}} $ 를 정의한다.
• 두 개의 불완전한 부분공간 보정 조건자($ B_{\text{PSC}}^c $ 및 $ \tilde{B}_{\text{PSC}}^c $)의 승법 조합을 사용하여 중복 조건자 $ B_{\text{PRSC}} $ 를 구성함으로써 강건성을 향상시킨다.
• 영역 분할 및 겹치는 부분공간을 활용하여 국소적 통신과 균형 잡힌 작업 분배를 가능하게 하여 병렬 계산을 지원한다.
• 메티스 기반 영역 분할을 사용하여 유한요소 이산화를 적용한 표준 PDE(Poisson, Maxwell, 탄성)에 대해 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 하드웨어 또는 소프트웨어 오류가 계산 중 발생할 경우 중복 부분공간 보정 방법이 반복적 선형 해법기의 수렴을 유지할 수 있는가?
• RQ2 오류가 없는 상황에서 제안된 방법의 계산 오버헤드는 얼마이며, 기존 방법 대비 최소한으로 유지될 수 있는가?
• RQ3 대규모 병렬 시스템에서 기존 부분공간 보정 방법과 비교해 본다면, 이 방법은 통신 비용과 로드 밸런싱 측면에서 어떻게 다른가?
• RQ4 이 방법은 엑사스케일 HPC 환경에서 평균 고장 간격(MTTF)을 어느 정도 향상시키는가?
• RQ5 이 방법은 성능 저하 없이 실제 세계의 PDE 기반 과학 시뮬레이션에 효과적으로 적용될 수 있는가?

주요 결과

• 중복 부분공간 보정(RSC) 방법은 오류 발생 시에도 수렴을 유지하며, 수렴 속도는 표준 부분공간 보정(SSC) 방법에 의해 제한된다: $ \|I - B_{\text{SRSC}}A\|_A \leq \|I - B_{\text{SSC}}A\|_A $.
• 오류가 없는 상황에서는 수렴 속도가 두 개의 SSC 속도의 곱으로 제한된다: $ \|I - B_{\text{SRSC}}A\|_A \leq \|I - B_{\text{SSC}}A\|_A \cdot \|I - \tilde{B}_{\text{SSC}}A\|_A $, 이는 안정성을 보장한다.
• 이론적 분석에 따르면 이상적인 조건 하에서 표준 SSC 방법보다 수렴 속도가 두 배로 빠르게 된다.
• 이 방법은 소규모이고 국소적인 통신만 필요로 하여 대규모 시스템에서 양호한 로드 밸런싱과 확장성을 유지한다.
• 포isson, 맥스웰 및 탄성 방정식에 대한 초기 수치 실험 결과는 오류 없는 상황과 오류 발생 상황 양쪽 모두에서 이 방법의 효율성과 효과성을 확인한다.
• 최소한 하나의 중복 쌍 내에서 기능하는 프로세서가 존재하는 한, 여러 개의 처리 단위가 고장 나도 이 방법은 강건하게 유지되며, 높은 고장 내성 성능을 입증한다.