[논문 리뷰] A Novel Method For Designing Transferable Soft Sensors And Its Application

Hossein Shahabadi Farahani, Alireza Fatehi외 2명|arXiv (Cornell University)|2020. 08. 05.

Fault Detection and Control Systems참고 문헌 45인용 수 7

한 줄 요약

이 논문은 산업 현장의 상태 모니터링을 위한 이식 가능한 소프트 센서를 설계하기 위해 전이 학습 기반의 회귀 방법인 도메인 적대적 신경망 회귀(DANN-R)를 제안한다. 적대적 훈련을 통해 다양한 가스 터빈 간의 도메인 불변 표현을 정렬함으로써, DANN-R는 새로운 또는 감도가 낮은 터빈에서 주요 공정 변수(예: 열량 하한값)를 정확하게 예측할 수 있게 하여, 비전이 학습 모델 대비 목표 도메인의 MSE를 최대 2.93배까지 감소시킨다.

ABSTRACT

In this paper, a new approach is proposed for designing transferable soft sensors. Soft sensing is one of the significant applications of data-driven methods in the condition monitoring of plants. While hard sensors can be easily used in various plants, soft sensors are confined to the specific plant they are designed for and cannot be used in a new plant or even used in some new working conditions in the same plant. In this paper, a solution is proposed for this underlying obstacle in data-driven condition monitoring systems. Data-driven methods suffer from the fact that the distribution of the data by which the models are constructed may not be the same as the distribution of the data to which the model will be applied. This ultimately leads to the decline of models accuracy. We proposed a new transfer learning (TL) based regression method, called Domain Adversarial Neural Network Regression (DANN-R), and employed it for designing transferable soft sensors. We used data collected from the SCADA system of an industrial power plant to comprehensively investigate the functionality of the proposed method. The result reveals that the proposed transferable soft sensor can successfully adapt to new plants.

연구 동기 및 목표

• 한 공장 또는 조건에서 훈련된 모델이 새로운 공장이나 작업 조건으로 적용되었을 때 발생하는 데이터 분포 이탈 문제를 해결하는 데 초점을 맞춘다.
• 기존 소프트 센서의 한계를 극복한다. 기존 소프트 센서는 분포 이탈로 인해 새로운 환경에 배포되었을 때 정확도를 상실하는 비이식성 문제를 해결한다.
• 전이 학습을 활용하여 원천 가스 터빈에서 목표 터빈으로 지식을 전이할 수 있는 강건하고 이식 가능한 소프트 센서 프레임워크를 개발한다.
• 다수의 터빈을 포함한 발전소에서의 실질적인 산업 응용을 통해 제안된 방법의 효과성을 입증한다.
• 하드웨어 센서가 없거나 PG 테스트와 같은 제한된 데이터 수집 기간 동안에 하드 측정이 어려운 공정 변수(예: LHV)에 대한 비용 효율적이고 정확한 추정을 가능하게 한다.

제안 방법

• 심층 신경망과 도메인 적대적 훈련을 조합한 도메인 적대적 신경망 회귀(DANN-R) 모델을 제안하여 도메인 불변 특징을 학습한다.
• 다양한 가스 터빈(원천 도메인)의 이력 SCADA 데이터를 기반으로 주요 공정 변수(예: LHV)를 예측하면서 동시에 적대적 분류기로 인해 도메인 식별성이 최소화되도록 모델을 훈련한다.
• 기울기 반전 층을 사용하여 도메인 분류 손실을 반대로 backpropagate함으로써, 특징 추출기가 도메인 이탈에 불변인 표현을 학습하도록 유도한다.
• 훈련 중에 볼 수 없었던 새로운 목표 터빈에 대해 훈련된 DANN-R 모델을 적용하여 이전 지식을 전이하여 목표 변수를 추정한다.
• 회귀에 대한 평균 제곱 오차(MSE) 손실과 도메인 적대적 손실을 최적화하여 원천 도메인과 목표 도메인의 분포를 정렬한다.
• 단일 원천 도메인 및 다중 원천 도메인 설정을 사용하여, 전이 학습 유무에 따라 목표 터빈에서의 예측 성능(MSE)을 비교함으로써 전이 가능성의 평가를 수행한다.

실험 결과

연구 질문

• RQ1 한 가스 터빈에서 훈련된 데이터 기반 소프트 센서 모델이 데이터 분포가 다른 동일한 발전소 내 다른 터빈으로 효과적으로 전이될 수 있는가?
• RQ2 도메인 적대적 훈련이 다양한 운영 특성을 가진 산업용 터빈 간의 소프트 센서 일반화 능력을 어느 정도 향상시키는가?
• RQ3 예측 가능한 주요 공정 변수(예: 열량 하한값)에 대해, 이식 가능한 소프트 센서의 성능은 비이식성 모델 대비 어떻게 비교되는가?
• RQ4 다수의 원천 터빈(다중 원천 도메인)을 사용할 경우 단일 원천 설정 대비 소프트 센서의 이식성과 강건성은 향상되는가?
• RQ5 희소한 데이터 또는 제한된 조건(예: PG 테스트)에서 데이터가 수집되는 목표 도메인에서 예측 오차를 줄일 수 있는가?

주요 결과

• 단일 원천 터빈을 원천 도메인으로 사용할 경우, 제안된 DANN-R 방법은 목표 도메인에서 평균적으로 MSE를 2.93배 감소시켰다.
• 모든 다른 터빈을 원천 도메인으로 사용할 경우, 비전이 학습 기반 모델 대비 목표 도메인의 MSE는 평균적으로 1.81배 감소하였다.
• 전이 학습 없이도 목표 도메인의 평균 MSE는 다중 원천 설정 대비 5.18배 높았으며, 이는 더 풍부한 원천 데이터가 일반화 능력을 향상시키지만, DANN-R가 여전히 상당한 성능 향상을 이룬다는 것을 시사한다.
• 다중 원천 데이터로 원천 도메인에서의 일반화 능력이 향상되었음에도 불구하고, DANN-R 모델은 여전히 목표 도메인에서 평균적으로 MSE를 1.81배 감소시켜 강력한 이식성을 입증하였다.
• 특히 하드웨어 센서가 없거나 훈련 데이터가 제한적이거나 특수 조건(예: PG 테스트)에서 수집된 경우에도, DANN-R는 열량 하한값(LHV)과 같은 주요 변수에 대해 정확한 예측을 가능하게 하였다.
• 전이 학습으로 인해 도메인 불변성과 회귀 정확도 사이의 트레이드오���이 발생하여 원천 도메인에서 성능이 약간 저하되었으며, 이는 적대적 도메인 적응의 기대되는 동작 방식을 확인한다.