[논문 리뷰] Benchmarking Domain Adaptation for Chemical Processes on the Tennessee Eastman Process

Eduardo Fernandes Montesuma, Michela Mulas외 3명|arXiv (Cornell University)|2023. 08. 22.

Fault Detection and Control SystemsEngineering인용 수 3

한 줄 요약

이 논문은 테네시-이스트먼(Tennessee-Eastman) 프로세스 벤치마크를 사용하여 화학 공정에서의 다중원천 비지도 도메인 적응(MSDA)을 제안한다. 교차 도메인 고장 진단(CDFD)에 적용된 결과, 훈련 중에 다수의 이질적 원천 도메인을 활용할 경우 고장 분류 정확도가 크게 향상되며, 단일원천 도메인 적응(SSDA) 기준 대비 평균 23.48% 향상되었고, 최적화된 운반(OT) 기반 방법들인 DaDiL과 JDOT가 분포 이탈 최소화에 효과적으로 기여하여 다른 방법들을 능가했다.

ABSTRACT

In system monitoring, automatic fault diagnosis seeks to infer the systems' state based on sensor readings, e.g., through machine learning models. In this context, it is of key importance that, based on historical data, these systems are able to generalize to incoming data. In parallel, many factors may induce changes in the data probability distribution, hindering the possibility of such models to generalize. In this sense, domain adaptation is an important framework for adapting models to different probability distributions. In this paper, we propose a new benchmark, based on the Tennessee Eastman Process of Downs and Vogel (1993), for benchmarking domain adaptation methods in the context of chemical processes. Besides describing the process, and its relevance for domain adaptation, we describe a series of data processing steps for reproducing our benchmark. We then test 11 domain adaptation strategies on this novel benchmark, showing that optimal transport-based techniques outperform other strategies.

연구 동기 및 목표

• 화학 공정에서의 다중원천 도메인 적응(MSDA)이 교차 도메인 고장 진단(CDFD)에 얼마나 효과적인지 평가하는 것.
• 테네시-이스트먼(TE) 프로세스의 다양한 운영 모드 간 분포 이탈을 다루는 데 있어 단일원천(SSDA) 및 다중원천(MSDA) 도메인 적응 방법을 비교하는 것.
• 다양한 이질적 원천 도메인의 데이터를 결합함으로써 단일원천 또는 타겟 전용 기준 대비 고장 진단 성능 향상 여부를 조사하는 것.
• 특히 최적화된 운반(OT) 기반 방법들을 포함한 다양한 도메인 적응 기법이 분포 이탈이 존재하는 실제 화학 공정 데이터에서 어떻게 성능을 발휘하는지 평가하는 것.
• 향후 산업 화학 시스템의 고장 진단을 위한 전이 학습 연구를 위한 종합적인 벤치마크를 제공하는 것.

제안 방법

• 연구는 고장 진단을 위한 벤치마크로 테네시-이스트먼(TE) 프로세스를 사용하며, 서로 다른 데이터 분포를 가지는 여러 운영 모드를 시뮬레이션한다.
• 단일원천 도메인 적응-SSDA 방법은 한 원천 모드의 레이블이 있는 데이터로 훈련하고, 타겟 모드의 레이블이 없는 데이터를 사용하며, 분포 정렬을 통해 도메인 이탈을 최소화한다.
• 다중원천 도메인 적응-MSDA 방법은 여러 원천 모드의 레이블이 있는 데이터와 타겟 모드의 레이블이 없는 데이터를 사용하여, 데이터 다양성을 활용해 일반화 능력을 향상시킨다.
• 주요 기법으로는 OT 방법들인 OTDA, JDOT, DaDiL이 포함되며, 이들은 원천 도메인과 타겟 도메인의 분포 간 워셔스타인 거리를 최소화한다.
• 프레임워크는 얕은 방법(MMD, TCA, DANN)과 딥 네트워크 기반 접근법을 비교하며, 적응 과정에서 특징 추출기의 미세조정 또는 고정 여부를 설정한다.
• 성능 평가는 모든 운영 모드에서의 분류 정확도를 기준으로 하며, 기준선으로는 원천 전용(다중 모드 레이블 데이터) 및 타겟 전용(레이블이 없는 타겟 데이터)이 포함된다.

실험 결과

연구 질문

• RQ1 화학 공정에서 다중원천 도메인 적응(MSDA)이 단일원천 도메인 적응(SSDA)에 비해 고장 진단 정확도를 유의미하게 향상시키는가?
• RQ2 특히 최적화된 운반(OT) 기반 방법들을 포함한 다양한 도메인 적응 기법이 이질적인 운영 모드 간의 분포 이탈을 얼마나 효과적으로 최소화하는가?
• RQ3 여러 원천 도메인의 데이터를 결합함으로써 교차 도메인 고장 진단(CDFD)에서 일반화 능력이 얼마나 향상되는가, 특히 명시적 적응 없이도?
• RQ4 테네시-이스트먼 프로세스에서의 CDFD 맥락에서 얕은 도메인 적응 방법이 딥 뉴럴 네트워크 기반 접근법보다 더 효과적인가?
• RQ5 도메인 적응 방법의 성능가 운영 모드에 따라 어떻게 달라지는가, 특히 유사한 모드(예: 모드 1과 모드 5) 또는 유사하지 않은 모드 간의 차이를 고려할 때 어떻게 되는가?

주요 결과

• MSDA는 SSDA 기준 대비 평균 23.48%의 분류 정확도 향상을 보이며, 여러 원천에서 온 데이터 다양성이 모델의 일반화 능력을 향상시킨다는 것을 입증한다.
• 가장 뛰어난 성능을 보인 방법인 DaDiL(DaDiL은 워셔스타인 바리센터 기반 OT 방법)은 MSDA 설정에서 평균 정확도 86.14%를 기록했으며, 최고의 SSDA 방법인 JDOT(83.13%)를 능가했다.
• OT 기반 방법들인 OTDA와 JDOT는 TCA, DANN, MMD와 같은 다른 방법들을 일관되게 능가하며, 최적화된 운반 기반 기법이 분포 정렬에 효과적이라는 점을 확인한다.
• 얕은 도메인 적응 방법이 딥 러닝 기반 방법보다 더 뛰어난 성능을 보이며, 효과적인 특징 추출이 잘 정렬된 분포 이탈을 보완할 수 있음을 시사한다.
• 오직 OT 기반 방법들만 원천 전용 기준선을 뛰어넘었으며, 이는 CDFD에서 성능 향상을 위해 분포 이탈 최소화가 필수적임을 시사한다.
• 모드 3에서는 SSDA가 MSDA를 능가했는데, 이는 유사한 모드(모드 6)가 존재하기 때문일 것으로 보이며, 이는 도메인 유사성이 적응의 효과성에 영향을 준다는 점을 시사한다.