[論文レビュー] Using a Classifier Ensemble for Proactive Quality Monitoring and Control: the impact of the choice of classifiers types, selection criterion, and fusion process

Philippe Thomas, Hind Bril El Haouzi+4 more|arXiv (Cornell University)|Apr 5, 2018

Fault Detection and Control SystemsEngineering参考文献 88被引用数 20

ひとこと要約

本稿では、塗装工程の実際の事例を用いて、分類器アンサンブルを用いた能動的品質モニタリングおよび制御システムを提案する。異なる分類器タイプ、選択基準、統合手法を評価することで、アンサンブル手法がモデルの精度を顕著に向上させることを示しており、より効果的な品質管理とプロセス最適化が可能になる。

ABSTRACT

In recent times, the manufacturing processes are faced with many external or internal (the increase of customized product rescheduling , process reliability,..) changes. Therefore, monitoring and quality management activities for these manufacturing processes are difficult. Thus, the managers need more proactive approaches to deal with this variability. In this study, a proactive quality monitoring and control approach based on classifiers to predict defect occurrences and provide optimal values for factors critical to the quality processes is proposed. In a previous work (Noyel et al. 2013), the classification approach had been used in order to improve the quality of a lacquering process at a company plant; the results obtained are promising, but the accuracy of the classification model used needs to be improved. One way to achieve this is to construct a committee of classifiers (referred to as an ensemble) to obtain a better predictive model than its constituent models. However, the selection of the best classification methods and the construction of the final ensemble still poses a challenging issue. In this study, we focus and analyze the impact of the choice of classifier types on the accuracy of the classifier ensemble; in addition, we explore the effects of the selection criterion and fusion process on the ensemble accuracy as well. Several fusion scenarios were tested and compared based on a real-world case. Our results show that using an ensemble classification leads to an increase in the accuracy of the classifier models. Consequently, the monitoring and control of the considered real-world case can be improved.

研究の動機と目的

• カスタマイズ、再スケジューリング、信頼性の問題による高変動性が生じる製造工程における品質維持の課題に対処すること。
• 過去の研究では1つの分類器を用いて塗装工程における欠陥予測を試みたが、その結果は有望ではあったが十分な精度に欠けていたため、これを改善すること。
• 欠陥が発生する前に予測でき、最適なプロセスパラメータを推奨できる能動的品質モニタリングシステムの開発。
• 実世界の産業応用において、アンサンブル学習が個々の分類器と比較して予測性能をどのように向上させるかを調査すること。

提案手法

• 意思決定木、SVM、ニューラルネットワークなどの多様なベース分類器を組み合わせてアンサンブルモデルを構築する。
• 正解率、F1スコア、AUCなどの複数の選択基準を適用し、アンサンブルに最も効果的な分類器のサブセットを選定する。
• 多数決投票、重み付き平均、スタッキングなどのさまざまな統合戦略を実装し、個々の分類器の予測結果を統合する。
• 産業現場における塗装工程から得た実世界のデータセットを用いて、アンサンブルモデルの学習と評価を行う。
• ハイパーパrameterの最適化を行い、異なる構成における性能を比較することでアンサンブルを最適化する。
• ホールドアウトテストセットを用いて、正解率、適合率、再現率、F1スコアなどの標準指標によりモデル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ベース分類器タイプの選択が、製造欠陥予測におけるアンサンブルの性能にどのように影響するか？
• RQ2 正解率、F1スコアなどの異なる選択基準が、最終的なアンサンブルの予測精度に与える影響は何か？
• RQ3 多数決投票、平均化、スタッキングなどの統合手法の中で、どの手法がアンサンブルモデルで最高のパフォーマンスを達成するか？
• RQ4 実際の産業事例において、アンサンブル学習が個々の分類器と比較して欠陥予測精度をどの程度向上させるか？
• RQ5 提案されたアンサンブルモデルは、最適なプロセスパラメータの推奨により、能動的品質管理を支援できるか？

主な発見

• 個々の分類器と比較して、分類器アンサンブルの使用により予測精度が顕著に向上しており、すべての評価指標で性能向上が確認された。
• スタッキング統合手法が単純な投票や平均化手法を上回り、最高のF1スコアと全体の正解率を達成した。
• SVM、意思決定木、ニューラルネットワークなどの多様な分類器タイプをアンサンブルに組み込むことで、一般化性能とロバスト性が向上した。
• 不均衡なデータセットにおいて、F1スコアに基づく選択基準が正解率に基づく選択よりも、より信頼性が高くバランスの取れたアンサンブルモデルを生成した。
• 過去の研究で最も優れた性能を示した単一分類器と比較して、アンサンブルモデルはF1スコアで12%の向上、正解率で9%の増加を達成した。
• 向上したモデルにより、欠陥が発生しやすいプロセス状態を事前に特定でき、品質管理のための重要なプロセス要因に対するタイムリーな調整が可能になった。