[論文レビュー] Benchmarking Domain Adaptation for Chemical Processes on the Tennessee Eastman Process

Eduardo Fernandes Montesuma, Michela Mulas+3 more|arXiv (Cornell University)|Aug 22, 2023

Fault Detection and Control SystemsEngineering被引用数 3

ひとこと要約

本論文は、テネシー・イースタン（TE）プロセスベンチマークを用いて、化学プロセスにおけるクロスドメイン故障診断（CDFD）のためのマルチソース非教師付きドメイン適応（MSDA）を提案する。訓練中に複数の異種ソースドメインを活用することで、故障分類精度が著しく向上し、単一ソースドメイン適応（SSDA）ベースライン比で平均23.48%の向上を達成した。特に、最適輸送（OT）に基づく手法（DaDiL や JDOT）が、分布シフトの最小化に優れているため、他の手法を上回った。

ABSTRACT

In system monitoring, automatic fault diagnosis seeks to infer the systems' state based on sensor readings, e.g., through machine learning models. In this context, it is of key importance that, based on historical data, these systems are able to generalize to incoming data. In parallel, many factors may induce changes in the data probability distribution, hindering the possibility of such models to generalize. In this sense, domain adaptation is an important framework for adapting models to different probability distributions. In this paper, we propose a new benchmark, based on the Tennessee Eastman Process of Downs and Vogel (1993), for benchmarking domain adaptation methods in the context of chemical processes. Besides describing the process, and its relevance for domain adaptation, we describe a series of data processing steps for reproducing our benchmark. We then test 11 domain adaptation strategies on this novel benchmark, showing that optimal transport-based techniques outperform other strategies.

研究の動機と目的

• 化学プロセスにおけるクロスドメイン故障診断（CDFD）において、マルチソースドメイン適応（MSDA）の有効性を評価すること。
• テネシー・イースタン（TE）プロセスにおける異なる運用モード間の分布シフトを扱うにあたり、単一ソース（SSDA）とマルチソースドメイン適応（MSDA）手法を比較すること。
• 複数の異種ソースドメインからのデータを統合することで、単一ソースまたはターゲットオンativeベースラインと比較して故障診断性能が向上するかどうかを調査すること。
• 特に最適輸送（OT）に基づく手法を含む、さまざまなドメイン適応技術の、分布シフトを伴う実世界の化学プロセスデータにおける性能を評価すること。
• 今後の工業的化学システムにおける故障診断のための転移学習研究のための包括的ベンチマークを提供すること。

提案手法

• 故障診断のベンチマークとしてテネシー・イースタン（TE）プロセスを用い、異なるデータ分布を持つ複数の運用モードをシミュレートした。
• 単一ソースドメイン適応（SSDA）手法の評価は、1つのソースモードのラベル付きデータで学習し、ターゲットモードのラベルなしデータを用い、分布整合性を最適化することでドメインシフトを最小化した。
• マルチソースドメイン適応（MSDA）手法は、複数のソースモードのラベル付きデータとターゲットモードのラベルなしデータで学習することで、データの多様性を活用し、一般化性能を向上させた。
• 主な技術には、OTDA、JDOT、DaDiL などの最適輸送（OT）手法が含まれ、これらはソースドメインとターゲットドメインの分布間のワーソルシュタイン距離を最小化する。
• 浅層的手法（例：MMD、TCA、DANN）と深層ニューラルネットワークベースのアプローチを比較し、特徴抽出器を適応中に微調整するか、固定した状態で評価した。
• 性能評価は、すべての運用モードにおける分類精度を用い、ベースラインにはソースオンリーベースライン（複数モードのラベル付きデータ）とターゲットオンリーベースライン（ラベルなしターゲットデータのみ）を含めた。

実験結果

リサーチクエスチョン

• RQ1 化学プロセスにおいて、マルチソースドメイン適応（MSDA）は、単一ソースドメイン適応（SSDA）と比較して、故障診断精度を顕著に向上させるか？
• RQ2 特に最適輸送（OT）に基づく手法を含む、さまざまなドメイン適応技術は、異種運用モード間の分布シフトをどれほど効果的に最小化できるか？
• RQ3 複数のソースドメインからのデータを統合することで、明示的な適応がなくても、クロスドメイン故障診断（CDFD）における一般化性能がどの程度向上するか？
• RQ4 浅層ドメイン適応手法は、TEプロセスにおけるCDFDの文脈で、深層ニューラルネットワークベースのアプローチよりも効果的か？
• RQ5 ドメイン適応手法の性能は、モード同士が近縁（例：モード1とモード5）である場合や、相違が大きい場合にどのように変化するか、特に運用モードごとにどのように変動するか？

主な発見

• MSDAは、SSDAベースライン比で平均23.48%の分類精度向上を達成し、複数のソースからのデータ多様性がモデルの一般化性能を向上させることを示した。
• 最も優れた手法であるDaDiL（ワーソルシュタイン重心に基づくOT手法）は、MSDA設定で平均86.14%の精度を達成し、最良のSSDA手法（JDOT：83.13%）を上回った。
• OTに基づく手法（OTDA や JDOT）は、TCA や DANN、MMD などの他の手法を一貫して上回り、最適輸送による分布整合性の有効性を確認した。
• 浅層ドメイン適応手法が深層学習ベースの手法を上回ったことから、効果的な特徴抽出が行われている場合、複雑なエンコーダーの学習の必要性が低下することが示唆された。
• 唯一、OTに基づく手法のみがソースオンリーベースラインを上回ったことから、CDFDにおける性能向上には、分布シフトの最小化が不可欠であることがわかった。
• モード3では、SSDAがMSDAを上回ったが、これは近縁のモード（モード6）が存在するためであり、ドメインの類似性が適応の有効性に影響を与える可能性を示唆した。