[논문 리뷰] An In Situ Approach for Approximating Complex Computer Simulations and Identifying Important Time Steps

Kary Myers, Earl Lawrence외 4명|arXiv (Cornell University)|2014. 09. 02.

Advanced Data Storage Technologies참고 문헌 11인용 수 4

한 줄 요약

이 논문은 실시간으로 복잡한 시뮬레이션을 근사하기 위해 조각별 선형 피팅을 사용하는 현장 내, 온라인 방법을 제안한다. 이는 데이터 전송 및 저장 요구를 줄이고 효율적인 후처리 및 재구성 가능성을 제공하기 위해 중요한 시점(시간 단계)을 식별한다. 이 방법은 시뮬레이션 워크플로우 내 분석을 통합함으로써 엑사스케일 시뮬레이션의 확장 가능한 분석을 가능하게 한다.

ABSTRACT

As computer simulations continue to grow in size and complexity, they provide a particularly challenging example of big data. Many application areas are moving toward exascale (i.e. 1018 FLOPS, or FLoating-point Operations Per Second). Analyzing these simulations is difficult because their output may exceed both the storage capacity and the bandwidth required for transfer to storage. One approach is to embed some level of analysis in the simulation while the simulation is running, often called in situ analysis. This paper describes an online in situ method for approximating a complex simulation using piecewise linear fitting. Our immediate goal is to identify important time steps of the simulation. We then use those time steps and the linear fits both to significantly reduce the data transfer and storage requirements and to facilitate post processing and reconstruction of the simulation. We illustrate the method using an example that tracks the development of evolving simulation behavior by monitoring various aspects of the simulation over time.

연구 동기 및 목표

• 점점 더 복잡해지는 컴퓨터 시뮬레이션에서 발생하는 막대한 데이터 출력을 관리하는 데 도전하는 것, 특히 엑사스케일 컴퓨팅으로의 확장과 함께.
• 가용 자원을 초과하는 시뮬레이션 출력으로 인해 발생하는 저장소 및 대역폭 병목 현상을 줄이는 것.
• 실행 중에 동적으로 시뮬레이션 행동의 변화가 발생하는 중요한 시간 단계를 식별하여 데이터 감소 및 분석을 안내하는 것.
• 식별된 중요한 시간 단계와 그에 해당하는 선형 근사값만을 사용하여 시뮬레이션 데이터의 효율적인 후처리 및 재구성 가능성을 제공하는 것.
• 시뮬레이션 파이프라인에 직접 통합되는 확장 가능한 온라인 현장 내 분석 방법을 개발하는 것.

제안 방법

• 이 방법은 실시간으로 시뮬레이션 데이터 스트림에 조각별 선형 피팅을 적용하여 시간 간격 동안의 시뮬레이션 행동을 근사한다.
• 변화가 선형 추세에서 벗어나는 지점에 따라 동적으로 중요한 시간 단계를 식별한다.
• 신규 데이터가 도착함에 따라 지속적으로 선형 피팅을 업데이트하기 위해 온라인 학습을 사용한다. 이는 정확성과 적응성을 보장한다.
• 오직 중요한 시간 단계와 그에 해당하는 선형 피팅만을 유지하여 저장 또는 전송한다. 이는 데이터 볼륨을 극적으로 줄인다.
• 식별된 핵심 단계 사이에서 피팅된 선형 모델을 사용해 보간함으로써 시뮬레이션 데이터의 재구성 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 복잡한 시뮬레이션에서 데이터 전송 및 저장 요구를 줄이기 위해 가장 중요한 시간 단계를 어떻게 식별할 수 있는가?
• RQ2 최소한의 데이터 손실로 시뮬레이션 행동을 근사하는 데 있어 조각별 선형 피팅의 효과성은 어떠한가?
• RQ3 온라인 선형 피팅을 사용한 현장 내 분석이 후처리 및 재구성에 충분한 정확도를 유지할 수 있는가?
• RQ4 시뮬레이션의 복잡성과 데이터 볼륨 증가에 따라 이 방법은 어떻게 확장되는가?
• RQ5 이 접근 방식은 엑사스케일 규모의 시뮬레이션에서 대역폭과 저장소 오버헤드에 어떤 영향을 미치는가?

주요 결과

• 이 방법은 시뮬레이션 행동이 크게 변화하는 중요한 시간 단계를 성공적으로 식별하여, 극히 적은 데이터 유지로 정확한 근사를 가능하게 한다.
• 핵심 시간 단계와 그 선형 피팅만을 유지함으로써 데이터 볼륨이 크게 감소하여 저장소 및 전송 제약을 완화한다.
• 피팅된 세그먼트를 사용해 재구성된 시뮬레이션 데이터는 원본과 매우 유사하여 근사의 높은 정밀도를 입증한다.
• 이 방법은 온라인 및 현장 내 특성 덕분에 전체 시뮬레이션 출력을 저장할 필요 없이 실시간 분석이 가능하다.
• 이 방법은 확장 가능하며 기존의 데이터 출력 처리 방식이 비현실적인 엑사스케일 시뮬레이션에 적합하다.
• 이 기법은 유informative한 시간 간격에만 컴퓨팅 자원을 집중함으로써 효율적인 후처리를 가능하게 한다.