[논문 리뷰] Augmenting Monte Carlo Dropout Classification Models with Unsupervised Learning Tasks for Detecting and Diagnosing Out-of-Distribution Faults

Baihong Jin, Yingshui Tan외 2명|arXiv (Cornell University)|2019. 09. 10.

Anomaly Detection Techniques and Applications참고 문헌 5인용 수 6

한 줄 요약

이 논문은 분포 외 장애(특히 초기 및 알 수 없는 장애)에 대한 고장 감지 및 진단을 향상시키기 위해 몬테카를로 드롭아웃 분류기와 오토인코더를 공동으로 훈련하는 새로운 신경망 아키텍처를 제안한다. 지도 학습을 통한 분류와 비지도 학습을 통한 재구성 능력을 융합함으로써, 세 가지 다양한 데이터셋에서 초기 및 알 수 없는 고장에 대해 우수한 불확실성 추정과 진단 정확도를 달성한다.

ABSTRACT

The Monte Carlo dropout method has proved to be a scalable and easy-to-use approach for estimating the uncertainty of deep neural network predictions. This approach was recently applied to Fault Detection and Di-agnosis (FDD) applications to improve the classification performance on incipient faults. In this paper, we propose a novel approach of augmenting the classification model with an additional unsupervised learning task. We justify our choice of algorithm design via an information-theoretical analysis. Our experimental results on three datasets from diverse application domains show that the proposed method leads to improved fault detection and diagnosis performance, especially on out-of-distribution examples including both incipient and unknown faults.

연구 동기 및 목표

• 라벨이 부족하거나 가용하지 않은 분포 외 고장—특히 초기 및 알 수 없는 고장—을 감지하고 진단하는 데 도전하는 데 목적이 있다.
• 계산 비용 증가 없이도 고장 감지 및 진단(FDD)을 위한 딥러닝 모델의 불확실성 추정을 향상시키는 데 목적이 있다.
• 지도 학습(분류)의 강점과 비지도 학습(재구성)의 강점을 하나의 공동 훈련 프레임워크에 통합하는 데 목적이 있다.
• 모델이 새로운 고장 유형에 대해서도 예측의 불확실성을 경고하고 진단 통찰을 제공할 수 있도록 하는 데 목적이 있다.
• 공동 훈련 시 복원 경로를 통한 잠재 공간의 분리성 향상과 고장 감지 민감도 향상이 가능함을 검증하는 데 목적이 있다.

제안 방법

• 모델은 몬테카를로 드롭아웃 분류기와 공유된 인코더 및 별도의 디코딩 경로를 통합하여 분류 및 재구성 작업을 공동으로 훈련할 수 있도록 설계된다.
• 인코더는 입력 데이터를 공유된 잠재 표현으로 처리하며, 이는 드롭아웃 기반 추론을 통한 분류와 재구성에 모두 사용된다.
• 재구성 손실은 훈련 중 정상(고장 없음) 데이터에만 적용되며, 분류 손실은 고장이 포함된 모든 데이터에 적용된다.
• 공동 목표 함수는 분류를 위한 교차 엔트로피 손실과 재구성을 위한 평균 제곱 오차 손실을 포함하며, 두 항을 균형 잡는 하이퍼파rameter α가 존재한다.
• 정보 이론적 분석을 통해 디코딩 경로가 잠재 공간을 정규화하여 분리된 고체적인 표현을 촉진함을 정당화한다.
• 추론 시 몬테카를로 드롭아웃을 적용하여 불확실성 추정을 생성하고, 재구성 오차를 추가로 이상도 수치로 활용한다.

실험 결과

연구 질문

• RQ1 몬테카를로 드롭아웃 분류기와 오토인코더를 공동으로 훈련하는 것이 단독 모델보다 분포 외 고장을 감지하는 데 개선 효과가 있는가?
• RQ2 디코딩 경로의 포함 여부가 고장 진단을 위한 잠재 공간의 분리성과 해석 가능성에 어떤 영향을 미치는가?
• RQ3 공동 훈련 프레임워크가 초기 및 알 수 없는 고장에 대한 불확실성 추정을 향상시키는가?
• RQ4 제안된 방법이 고장 감지 및 진단 정확도에서 몬테카를로 드롭아웃 분류기 및 몬테카를로 드롭아웃 오토인코더보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 공유된 표현 학습을 통해 모델의 재구성 능력과 분류 성능를 동시에 향상시킬 수 있는가?

주요 결과

• 갑상선 데이터셋에서 제안된 모델은 초기 고장(SL1에서 SL3)의 진단 정확도를 향상시켰으며, 알 수 없는 고장의 이진 분류 정확도를 0.433에서 0.936으로 크게 향상시켰다.
• 냉각기 데이터셋에서 제안된 모델은 기준 모델 대비 평균 감지 임계값을 낮추어 이상 탐지 민감도가 높아졌음을 나타냈다.
• MNIST 숫자 데이터셋에서 제안된 모델은 모호한 데이터에 대해 이진 분류 정확도 0.530을 달성하여 몬테카를로 드롭아웃 분류기 및 오토인코더를 능가했다.
• 비제로 숫자의 경우 진단 정확도가 0.587에서 0.717으로 향상되었고, 모호한 숫자의 경우 0.231에서 0.300으로 상승하여 더 나은 고장 진단 능력을 보였다.
• LDA를 통한 잠재 공간 시각화 결과, 제안된 모델의 데이터 클러스터는 더 산만하게 분포되어 있었으며, 특히 초기 고장이 정상 데이터와 잘 분리되는 경향을 보였다.
• 제안된 모델의 평균 이상도 수치는 분포 외 예측에 대해 분류기보다 높았으며, 이는 새로운 고장을 더 민감하게 감지함을 시사한다.