[논문 리뷰] Stacked autoencoders based machine learning for noise reduction and signal reconstruction in geophysical data

Debjani Bhowick, Deepak Gupta외 2명|arXiv (Cornell University)|2019. 07. 07.

Seismic Imaging and Inversion Techniques참고 문헌 59인용 수 10

한 줄 요약

이 논문은 깊이 신경망을 사용하여 손상된 입력에서 비선형 저차원 표현을 학습함으로써 지구물리학적 데이터에서 잡음 제거 및 신호 복원을 위한 스택드 디노이징 오토에인코더 프레임워크를 제안한다. 합성 예제에서는 90% 이상의 잡음 제거 성능을 달성하였고, SP 이상 데이터에서는 최대 80%의 잡음 제거 성능를 보였으며, 지반파동 및 웰로그 데이터에서도 뛰어난 성능를 보이며 지구물리학 분야에서 데이터 기반 잡음 제거 도구로서의 효과성을 입증하였다.

ABSTRACT

Autoencoders are neural network formulations where the input and output of the network are identical and the goal is to identify the hidden representation in the provided datasets. Generally, autoencoders project the data nonlinearly onto a lower dimensional hidden space, where the important features get highlighted and interpretation of the data becomes easier. Recent studies have shown that even in the presence of noise in the input data, autoencoders can be trained to reconstruct the noisefree component of the data from the reduced-dimensional hidden space. In this paper, we explore the application of autoencoders within the scope of denoising geophysical datasets using a data-driven methodology. The autoencoder formulation is discussed, and a stacked variant of deep autoencoders is proposed. The proposed method involves locally training the weights first using basic autoencoders, each comprising a single hidden layer. Using these initialized weights as starting points in the optimization model, the full autoencoder network is then trained in the second step. The applicability of denoising autoencoders has been demonstrated on a basic mathematical example and several geophysical examples. For all the cases, autoencoders are found to significantly reduce the noise in the input data.

연구 동기 및 목표

• 물리적 정방 모델에 의존하지 않고 지구물리학적 신호의 잡음 제거 및 복원을 위한 데이터 기반 기계학습 기법을 개발하는 것.
• 지구물리학적 탐사에서 흔히 발생하는 지반파동, 웰로그 및 SP(자기전위) 데이터셋에서의 잡음 오염 및 누락 데이터 문제를 해결하는 것.
• 딥 오토에인코더를 통해 복잡한 지구물리학적 데이터의 강력하고 비선형적인 저차원 표현을 학습함으로써 신호 해석을 향상시키는 것.
• 실제 지구물리학적 데이터에서 높은 수준의 잡음과 누락 트레이스를 처리하는 데 있어 스택드 오토에인코더의 가능성을 탐색하는 것.
• 다양한 잡음 조건에서 합성 및 현장 예제를 포함한 다양한 지구물리학적 데이터 유형에 대해 제안된 방법의 성능을 평가하는 것.

제안 방법

• 먼저 하나의 은닉층을 가진 얕은 오토에인코더를 개별적으로 사전 훈련한 후, 이를 스택하여 딥 스택드 오토에인코더로 조립하는 이중 단계 훈련 프로세스를 사용한다.
• 훈련 중에 입력 데이터를 손상시켜(예: 무작위 잡음을 추가함) 디노이징 오토에인코더를 적용함으로써 네트워크가 강인하고 잡음에 강건한 표현을 학습하도록 유도한다.
• 원본 및 재구성된 신호 간의 재구성 오차를 최소화하기 위해 평균 제곱오차(MSE) 손실 함수를 사용하여 역전파를 수행한다.
• 사전 훈련된 얕은 오토에인코더에서 얻은 가중치를 전체 딥 네트워크의 초기화 값으로 사용함으로써 수렴성과 성능을 향상시킨다.
• 데이터를 낮은 차원의 잠재 공간으로 투영하고 원래 도메인으로 복원함으로써, 노이즈가 섞인 입력에서 깨끗한 신호를 재구성하기 위해 스택드 오토에인코더를 적용한다.
• 각 오토에인코더를 작은 국소적 데이터 패치에서 훈련하는 국소적 훈련 전략을 사용하여 지구물리학적 트레이스의 공간적 및 시간적 연속성을 유지한다.

실험 결과

연구 질문

• RQ1 스택드 디노이징 오토에인코더는 기초 물리 모델에 대한 사전 지식 없이도 지구물리학적 신호에서 임의의 잡음을 효과적으로 줄일 수 있는가?
• RQ2 제안된 오토에인코더 아키텍처는 지반파동 및 웰로그 데이터에서 손상되거나 누락된 트레이스를 얼마나 잘 복원할 수 있는가?
• RQ3 훈련 데이터셋의 크기와 주파수 성분이 오토에인코더 성능에 어느 정도 영향을 미치는가?
• RQ4 잡음 임계값 및 연속성 제약 조건과 같은 하이퍼파rameter가 재구성 품질에 어떤 영향을 미치는가?
• RQ5 저주파 성분을 유지하면서 고주파 잡음을 제거할 수 있는가? 이는 전반적인 신호 해석에 필수적인 요소이다.

주요 결과

• 스택드 디노이징 오토에인코더는 기본 수학적 테스트 케이스에서 90% 이상의 잡음 제거 성능를 보이며 강력한 잡음 제거 능력을 입증하였다.
• 적절한 정방 모델을 사용해 훈련한 SP 이상 데이터의 경우, 약 80%의 잡음 제거 성능를 달성하였다.
• 오토에인코더는 지반파동 및 웰로그 데이터에서 누락된 트레이스를 성공적으로 복원하여 신호 품질과 해석 가능성에 크게 기여하였다.
• 더 큰 훈련 데이터셋과 넓은 주파수 대역은 재구성된 신호의 해상도를 향상시켜 미세한 특징의 손실를 줄였다.
• 개선된 성능에도 불구하고, 일부 깨끗한 영역에 원치 않는 잡음이 유입된 것으로 나타나, 보다 정교한 손실 함수 개선이 필요함을 시사하였다.
• 합성 웰 데이터에서 연속성 임계값의 영향을 고려할 때, 성능가 하이퍼파rameter 조정이 최적의 결과를 얻기 위해 매우 중요하다는 점을 확인하였다.