[논문 리뷰] Two-phase flow regime prediction using LSTM based deep recurrent neural network

Zhuoran Dang, Mamoru Ishii|arXiv (Cornell University)|2019. 03. 30.

Power Transformer Diagnostics and Insulation참고 문헌 12인용 수 13

한 줄 요약

이 논문은 임피던스 공극계수계에서 수집한 시간열 공극계수 데이터를 사용하여 실시간 이상태 흐름 제도 예측을 위한 LSTM 기반 딥 순환 신경망(RNN)을 제안한다. 3층 네트워크를 사용할 경우 최대 92.3%의 테스트 정확도를 달성하며, 더 깊은 네트워크가 정확도를 향상시키지만 예측 지연을 증가시킨다는 것을 입증한다. 시퀀스 길이와 네트워크 깊이가 실시간 성능에서 중요한 상충 관계를 이룬다.

ABSTRACT

Long short-term memory (LSTM) and recurrent neural network (RNN) has achieved great successes on time-series prediction. In this paper, a methodology of using LSTM-based deep-RNN for two-phase flow regime prediction is proposed, motivated by previous research on constructing deep RNN. The method is featured with fast response and accuracy. The built RNN networks are trained and tested with time-series void fraction data collected using impedance void meter. The result shows that the prediction accuracy depends on the depth of network and the number of layer cells. However, deeper and larger network consumes more time in predicting.

연구 동기 및 목표

• 정적 흐름 제도도의 한계를 극복하기 위해 동적이고 실시간적인 이상태 흐름 제도 예측 방법을 개발하기 위해.
• 핵융합 반응로 핵심이 녹는 등의 심각한 사고 상황에서 신속한 반응이 필요한 요구사항을 충족하기 위해.
• 시간열 데이터의 시간적 의존성을 활용하여 기존 기계학습 방법보다 정확도를 향상시키기 위해.
• 실시간 적용 가능성을 고려할 때 모델의 깊이, 시퀀스 길이, 예측 속도 사이의 상충 관계를 평가하기 위해.

제안 방법

• 시간열 공극계수 데이터의 시간적 의존성을 모델링하기 위해 스택된 장기 단기 기억(LSTM) 셀을 사용한 딥 LSTM 기반 RNN을 구축한다.
• 가장자리(입력, 잊기, 출력) 3개와 셀 상태를 사용하여 기울기 소실 문제를 완화하고 장거리 의존성을 포착한다.
• 순차적인 공극계수 입력을 처리하고 사전 정의된 흐름 제도에 대한 확률 분포를 출력하며, 가장 높은 확률을 가진 제도를 예측 결과로 선택한다.
• 성능 상충 관계를 연구하기 위해 은닉층 수, 각 층의 LSTM 셀 수, ReLU 활성화 층의 사용 여부를 조절하여 네트워크 아키텍처를 다양화한다.
• 공개된 데이터베이스에서 확보한 임피던스 공극계수계를 통한 시간열 공극계수 신호 기반으로 모델을 훈련 및 테스트한다.
• 정확도와 지연 시간에 대한 영향을 평가하기 위해 시퀀스 길이를 체계적으로 변화시킴(3초에서 20초까지).

실험 결과

연구 질문

• RQ1 LSTM 네트워크의 깊이가 이종류 흐름 제도 분류의 정확도와 예측 속도에 미치는 영향은 무엇인가?
• RQ2 정확하고 신속한 흐름 제도 예측을 위한 공극계수 데이터의 최적의 시퀀스 길이는 얼마인가?
• RQ3 LSTM 셀 수, ReLU 층, 스택 전략과 같은 다양한 아키텍처 구성 요소가 모델 성능에 미치는 영향는 어떠한가?
• RQ4 딥 RNN 모델이 동적 이종류 흐름에서 실시간 흐름 제도 모니터링을 위해 높은 정확도와 신속한 반응을 동시에 달성할 수 있는가?
• RQ5 여러 개의 RNN 층을 스택하는 것이 단일 깊은 층에서 은닉 유닛 수를 늘리는 것보다 더 나은 성능을 내는가?

주요 결과

• LSTM 기반 RNN의 테스트 정확도는 네트워크 깊이가 증가함에 따라 상승하며, 3층 네트워크(3LSTM-128H-2ReLU)에서 최대 92.3%에 도달한다.
• 각 층의 LSTM 셀 수를 늘림(128에서 256로)함으로써 정확도가 86.7%에서 88.3%로 향상된다.
• 단일 ReLU 층을 사용할 경우(LSTM-128H-1ReLU) 정확도가 78.5%로 떨어지며, 이는 작업에 대해 모델 용량이 부족함을 시사한다.
• 네트워크 스택(예: (LSTM-128H-2ReLU) × 2)을 적용할 경우 단일 2층 모델 대비 예측 시간이 4.28배 증가하지만, 일관되게 더 깊은 단일 경로 네트워크보다 성능이 떨어지지 않는다.
• 시퀀스 길이의 영향은 크며, 정확도는 5초일 경우 86.7%에서 3초일 경우 73.5%로 급격히 감소하여 더 긴 시퀀스가 신뢰할 수 있는 분류에 필수적임을 보여준다.
• 20초 시퀀스 길이를 가진 모델은 95.6%의 정확도를 달성하며, 더 긴 시간적 맥락이 성능 향상에 크게 기여하지만 지연 시간 증가를 수반함을 보여준다.