[논문 리뷰] Deep Learning on Real Geophysical Data: A Case Study for Distributed Acoustic Sensing Research

Vincent Dumont, Verónica Rodrı́guez Tribaldos외 2명|arXiv (Cornell University)|2020. 10. 15.

Seismic Waves and Analysis참고 문헌 4인용 수 4

한 줄 요약

이 논문은 HPC 시스템에서 ResNet 아키텍처를 사용하여 실시간 분산 음향 센싱(DAS) 데이터의 이용 가능한 지진 에너지를 식별하기 위한 하이퍼파rameter 최적화된 딥러닝 프레임워크를 제시한다. 단지 1,000장의 레이블이 부여된 이미지로 훈련함으로써, 정합된 파동과 잡음의 분류에서 높은 정확도를 달성하였으며, GPU 스케일링을 통해 100배의 속도 향상을 이룩했고, 복잡한 신호 패턴에서 실제 확률 기대치와 일치하는 네 가지 해석이 가능한 모델을 식별하였다.

ABSTRACT

Deep Learning approaches for real, large, and complex scientific data sets can be very challenging to design. In this work, we present a complete search for a finely-tuned and efficiently scaled deep learning classifier to identify usable energy from seismic data acquired using Distributed Acoustic Sensing (DAS). While using only a subset of labeled images during training, we were able to identify suitable models that can be accurately generalized to unknown signal patterns. We show that by using 16 times more GPUs, we can increase the training speed by more than two orders of magnitude on a 50,000-image data set.

연구 동기 및 목표

• 고밀도이자 노이즈가 많은 DAS 데이터에서 이용 가능한 지진 에너지를 식별하기 위한 확장 가능하고 해석 가능한 딥러닝 분류기 개발.
• 레이블링이나 일반화가 어려운 복잡한 비정합성, 비정상적인 신호 패턴을 분류하는 데 도전.
• 대규모 지구물리학적 데이터셋에서 효율적인 훈련을 위해 하드웨어, 데이터 표현, 모델 아키텍처에 걸쳐 하이퍼파rameter 최적화.
• 비정합성 및 과포화된 신호 유형에 대한 레이블이 없을 경우 모델의 해석 가능성과 신뢰성 평가 방법 수립.
• 테라바이트 규모의 지구물리학적 데이터에서 딥러닝 모델 훈련에 대한 GPU 스케일링 효율성 평가.

제안 방법

• HPC 하드웨어(CPU 및 GPU), 데이터 표현(grayscale 및 RGB), 모델 아키텍처(깊이 및 버팀목 크기 변화 가능한 ResNet), 훈련 설정(학습률, 에포크 수, 배치 크기)을 포함한 9차원 하이퍼파rameter 검색 수행.
• NERSC의 Cori 슈퍼컴퓨터를 사용하여 총 6,460개의 서로 다른 모델을 훈련하였으며, 4개 노드에 최대 32개의 V100 GPU를 사용한 GPU 기반 훈련에 중점을 두었다.
• 모든 하이퍼파rameter 조합을 시각화하고 비교하기 위해 평행 좌표도를 사용하였으며, 실제 확률 값에 가까운 모델이 지정된 지표로 최적의 모델을 식별하였다.
• 모델의 해석 가능성은 네 가지 기준 신호 유형(백색 잡음, 정합된 파동, 비정합된 파동, 과포화된 신호)에 대해 예상되는 확률 범위와 출력 확률을 비교하여 평가하였다.
• 훈련 처리량 맵핑을 수행하여 최적의 GPU 스케일링을 도출하였으며, 50,000장의 이미지 데이터셋에서 16에서 32개의 GPU로 증가시킬 경우 두 개 이상의 지수 차수의 속도 향상을 보였다.
• 이진 분류를 사용하여 정합된 표면파와 백색 잡음을 구분하였으며, 다양한 신호 패턴에서 일관된 확률 출력을 보이는지 평가하였다.

실험 결과

연구 질문

• RQ1 실제 DAS 데이터에서 지진 에너지를 분류하기 위한 가장 정확하고 일반화 가능한 딥러닝 모델을 얻기 위한 하이퍼파rameter 설정은 무엇인가?
• RQ2 대규모 지구물리학적 딥러닝 워크로드에서 GPU 스케일링은 훈련 처리량과 효율성에 어떤 영향을 미치는가?
• RQ3 청결한 신호 패턴(정합된 파동 및 백색 잡음)만으로 훈련된 모델이 비레이블링된 복잡한 비정합성 신호 영역에서 이용 가능한 에너지를 신뢰성 있게 예측할 수 있는가?
• RQ4 비정합성 및 과포화된 신호 패턴에 대한 실제 레이블이 없을 경우 모델의 해석 가능성은 어떻게 평가할 수 있는가?
• RQ5 높은 정확도의 지구물리학적 신호 분류를 위해 모델 깊이, 학습률, 배치 크기, 데이터 표현 간의 최적의 균형은 무엇인가?

주요 결과

• 1,440개의 훈련 모델 중 유일하게 네 가지 기준 신호 유형에 대해 예상 실제 확률 범위와 일치하는 출력 확률을 생성한 것은 4개에 불과하여, 높은 신뢰성과 해석 가능성 확인.
• 최고의 성능을 보인 모델은 학습률 0.001, 배치 크기 128, 1,000장의 이미지 서브셋으로 훈련된 14층의 히든 레이어를 가진 ResNet으로, 40 에포크 후 정합된 파동에 대해 0.9163, 백색 잡음에 대해 0.0237의 일관된 확률 출력.
• 비정합된 파동에 대해서는 최고의 모델이 0.8592~0.8628의 확률을 예측하였으며, 예상 범위인 0.7~0.9 내에 포함됨.
• 과포화된 신호에 대해서는 최고의 모델이 0.2048~0.2975의 확률을 예측하였으며, 예상 범위인 0.2~0.3과 일치함.
• 50,000장의 이미지 데이터셋에서 16에서 32개의 GPU로 증가시킬 경우 훈련 처리량이 두 개 이상의 지수 차수만큼 증가하여 강력한 GPU 스케일링 효율성 입증.
• GPU 기반 훈련이 대규모 DAS 데이터에 대해 CPU 기반 병렬 처리보다 속도와 확장성 면에서 뚜렷한 우수성을 보임을 확인함.