[논문 리뷰] Tolerating Silent Data Corruption in Opaque Preconditioners

James John Elliott, Mark Frederick Hoemmen외 1명|arXiv (Cornell University)|2014. 04. 22.

Radiation Effects in Electronics참고 문헌 24인용 수 7

한 줄 요약

이 논문은 복잡한 조건부 행렬의 암묵적 조건부 행렬에서 은폐된 데이터 손상(SDC)을 수정하지 않고도 견딜 수 있는 선택적 신뢰성 접근법을 제안한다. 외부 GMRES 반복에서만 장애 탐지 및 롤백을 적용하면서 내부 해법은 신뢰성 없이 실행함으로써, 최악의 경우 1.8%의 오버헤드로 ILU(k) 및 대수적 다중 격자 조건부 행렬에서의 SDC에도 불구하고 정확한 해를 도출할 수 있다.

ABSTRACT

We demonstrate algorithm-based fault tolerance for silent, transient data corruption in "black-box" preconditioners. We consider both additive Schwarz domain decomposition with an ILU(k) subdomain solver, and algebraic multigrid, both implemented in the Trilinos library. We evaluate faults that corrupt preconditioner results in both single and multiple MPI ranks. We then analyze how our approach behaves when then application is scaled. Our technique is based on a Selective Reliability approach that performs most operations in an unreliable mode, with only a few operations performed reliably. We also investigate two responses to faults and discuss the performance overheads imposed by each. For a non-symmetric problem solved using GMRES and ILU, we show that at scale our fault tolerance approach incurs only 22% overhead for the worst case. With detection techniques, we are able to reduce this overhead to 1.8% in the worst case.

연구 동기 및 목표

• 대규모 과학 계산에서 잘못된 결과가 감지되지 않아 치명적인 실패로 이어질 수 있는 은폐된 데이터 손상(SDC)을 해결하기 위함.
• ILU(k)나 대수적 다중 격자와 같은 복잡하고 암묵적인 조건부 행렬을 수정하지 않고도 반복 선형 해법기에서 장애 내성 기능을 제공하기 위함.
• 내부 반복에서만 신뢰성 적용을 선택적으로 수행함으로써 성능 오버헤드를 최소화하고, 효율적인 내부 해법에 의존하기 위함.
• 강한 스케일링과 약한 스케일링 모두에서 복수의 MPI 랭크를 대상으로 장애 내성의 확장성과 강건성을 평가하기 위함.
• 잔차 노름의 단조 감소와 투영 노름 경계를 통한 큰 오차 탐지 기법이 장애 내성 오버헤드를 크게 줄일 수 있음을 입증하기 위함.

제안 방법

• 다수의 계산을 비신뢰성 모드에서 수행하고, 외부 GMRES 반복에서만 신뢰성 검사를 적용하는 선택적 신뢰성 전략을 사용한다.
• 외부-내부 반복 구조를 활용하여, 외부 GMRES 해법기는 신뢰성 있게 작동하고, 내부 조건부 행렬 해법기는 비신뢰성 있게 수행된다.
• GMRES에서 잔차 노름의 단조 감소를 모니터링하고, Elliott [14]에서 유도된 투영 노름 경계를 강제 적용함으로써 장애 탐지를 수행한다.
• 전체 해법을 다시 실행하지 않고도 부정확한 조건부 행렬 출력을 식별하고 수정하기 위해 롤백 및 탐지 전략을 구현한다.
• 전체 MPI 랭크가 손상된 데이터를 반환하는 장애 모델을 사용하여 심각한 SDC 시나리오를 시뮬레이션한다.
• 두 가지 조건부 행렬을 평가한다: Trilinos 라이브러리 내의 ILU(k)와 대수적 다중 격자(MueLu)를 사용한 덧셈 색소법.

실험 결과

연구 질문

• RQ1 ILU(k)나 대수적 다중 격자와 같은 암묵적인 조건부 행렬을 수정하지 않고도 반복 선형 해법기에서 장애 내성을 달성할 수 있는가?
• RQ2 SDC가 복수의 MPI 랭크에 영향을 주는 상황에서 장애 내성의 성능 오버헤드는 얼마이며, 강한 스케일링과 약한 스케일링 모두에서 어떻게 확장되는가?
• RQ3 잔차 노름 모니터링과 투영 경계 기반 탐지 기법이 낭비적인 더블 리스타트 전략보다 장애 내성 오버헤드를 낮출 수 있는가?
• RQ4 손상된 조건부 행렬 출력의 2-노름이 장애 내성 오버헤드와 해법 수렴에 어떤 영향을 미치는가?
• RQ5 결측 또는 손상된 데이터를 작은 값으로 대체하는 것이 SDC 상황에서 복원력 향상에 기여하는가?

주요 결과

• 탐지 기능이 있는 경우, 비대칭 문제에 대해 GMRES와 ILU를 사용할 때 최악의 경우 오직 1.8%의 오버헤드만 발생하여 높은 효율성을 입증한다.
• 동일한 문제에서 탐지 기능이 없는 경우 오버헤드는 22%로 증가하므로, 탐지 기능이 성능 비용을 최소화하는 데 핵심적임을 보여준다.
• 조회결과의 2-노름을 증가시키는 장애는 유지하거나 감소시키는 장애보다 훨씬 높은 오버헤드를 초래한다.
• 약한 스케일링 결과에 따르면, 24에서 1032개의 프로세스로 확장할 경우 오버헤드가 약 10%에서 거의 100%로 증가하며, 특히 하위영역 전체가 손상된 경우 두드러진다.
• 잔차 노름의 단조 감소와 투영 노름 경계를 모두 사용한 탐지 기법은 각각의 기법만 사용할 때보다 더 많은 장애를 탐지하여 신뢰성을 향상시킨다.
• 장애 발생 시 손상된 데이터를 작은 값으로 대체하는 것은, 고장 난 랭크 수가 적을 경우 유의미한 복구 전략이 된다.