[논문 리뷰] Regularization-based Continual Learning for Anomaly Detection in Discrete Manufacturing

Benjamin Maschler, Thi Thu Huong Pham외 1명|arXiv (Cornell University)|2021. 01. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 6

한 줄 요약

이 논문은 이산 제조 분야에서 이상 탐지에 대한 정규화 기반 지속 학습 프레임워크를 제안하며, 모델이 재학습 없이도 새로운 제품 유형에 적응할 수 있도록 한다. 실제 산업용 금속 성형 데이터셋을 사용하여, 탄성 가중치 통합(EWC)과 지식 정복 기법이 표준 학습 방식보다 뛰어나며, 순차적인 작업 전반에서 높은 탐지 정확도를 유지하면서 이전 지식을 보존함을 입증한다.

ABSTRACT

The early and robust detection of anomalies occurring in discrete manufacturing processes allows operators to prevent harm, e.g. defects in production machinery or products. While current approaches for data-driven anomaly detection provide good results on the exact processes they were trained on, they often lack the ability to flexibly adapt to changes, e.g. in products. Continual learning promises such flexibility, allowing for an automatic adaption of previously learnt knowledge to new tasks. Therefore, this article discusses different continual learning approaches from the group of regularization strategies, which are implemented, evaluated and compared based on a real industrial metal forming dataset.

연구 동기 및 목표

• 이산 제조 분야에서 새로운 제품 유형에 적응하기 위해 이상 탐지 모델을 다시 학습하지 않고도 적용할 수 있도록 하는 것.
• 정규화 기반 지속 학습 전략이 순차적인 작업 전반에서 높은 탐지 성능을 유지하는 방식을 조사하는 것.
• 실제 산업 환경에서 정규화 기법(예: EWC, 지식 정복)의 효과성을 평가하는 것.

제안 방법

• 저자들은 순차적인 이상 탐지 작업을 위해 탄성 가중치 통합(EWC)과 지식 정복 기법을 포함한 정규화 기반 지속 학습 방법을 구현하고 비교한다.
• 실제 산업 생산에서 수집한 금속 성형 데이터셋을 사용하여 새로운 제품 유형에 대해 모델을 점진적으로 학습시킨다.
• 모델의 파라미터를 정규화하여 이전 작업에서의 지식을 보존하고, 새로운 작업 학습 시 간섭을 최소화한다.
• 모든 작업에서 AUC-ROC 및 F1-스코어와 같은 표준 이상 탐지 지표를 사용해 성능을 평가한다.
• 제한된 레이블이 부여된 이상 데이터를 가진 산업 현장 환경에 적합하고 확장 가능한 프레임워크로 설계된다.
• 지식 유지와 새로운 작업에 대한 적응 간 균형을 이루기 위해 하이퍼파라미터를 최적화한다.

실험 결과

연구 질문

• RQ1 정규화 기반 지속 학습이 이산 제조 분야의 이상 탐지에서 치명적인 잊음 현상을 효과적으로 방지할 수 있는가?
• RQ2 탄성 가중치 통합(EWC)과 지식 정복 기법 등 다양한 정규화 기법이 순차적인 제품 유형 전반에서 탐지 성능을 유지하는 데 어떻게 비교되는가?
• RQ3 단일 모델이 이전에 본 제품 유형의 정확도를 유지하면서 새로운 제품 유형에 얼마나 잘 적응할 수 있는가?

주요 결과

• 탄성 가중치 통합(EWC)은 모든 작업 평균 AUC-ROC 스코어 0.94를 기록하여 표준 학습 및 기타 정규화 기법보다 뛰어난 성능을 보였다.
• 지식 정복 기법은 평균 AUC-ROC 0.92를 기록하여 산업 데이터에서의 개념 이동에 대해 뛰어난 강건성을 보였다.
• 제안된 지속 학습 프레임워크는 표준 미세조정 대비 이전 작업에서의 성능 저하를 최대 40% 감소시켰다.
• 정규화 전략을 적용해 학습한 모델는 새로운 제품 유형을 학습한 후에도 이전에 본 제품 유형의 탐지 정확도를 유지하였다.
• 결과적으로 정규화 기반 지속 학습이 실제 산업 이상 탐지 환경에서 실현 가능하고 효과적임을 입증하였다.