[논문 리뷰] Concise Logarithmic Loss Function for Robust Training of Anomaly Detection Model

YeongHyeon Park|arXiv (Cornell University)|2022. 01. 15.

Anomaly Detection Techniques and Applications인용 수 7

한 줄 요약

이 논문은 자동에코더 기반 모델에서 학습 안정성과 이상 탐지 성능을 향상시키기 위해 새로운 로그 평균 제곱 오차(LMSE) 손실 함수를 제안한다. 예측 오차에 로그 스케일링을 적용함으로써 LMSE는 기울기 흐름과 손실 수렴을 향상시키며, MNIST에서 MSE 대비 최대 0.017 AUROC 향상과 Fashion-MNIST에서 일관된 안정성을 보이며 뛰어난 강건성을 입증한다.

ABSTRACT

Recently, deep learning-based algorithms are widely adopted due to the advantage of being able to establish anomaly detection models without or with minimal domain knowledge of the task. Instead, to train the artificial neural network more stable, it should be better to define the appropriate neural network structure or the loss function. For the training anomaly detection model, the mean squared error (MSE) function is adopted widely. On the other hand, the novel loss function, logarithmic mean squared error (LMSE), is proposed in this paper to train the neural network more stable. This study covers a variety of comparisons from mathematical comparisons, visualization in the differential domain for backpropagation, loss convergence in the training process, and anomaly detection performance. In an overall view, LMSE is superior to the existing MSE function in terms of strongness of loss convergence, anomaly detection performance. The LMSE function is expected to be applicable for training not only the anomaly detection model but also the general generative neural network.

연구 동기 및 목표

• 표준 평균 제곱 오차(MSE) 손실을 사용할 경우 깊이 있는 자동에코더의 이상 탐지 학습에서 발생하는 불안정성 문제를 해결하기 위해.
• 역전파 과정에서 큰 예측 오차에 대한 민감도를 줄임으로써 학습 강건성을 향상시키기 위해.
• 더 안정적이고 일관된 손실 수렴 과정을 통해 이상 탐지 성능을 향상시키기 위해.
• MNIST 및 Fashion-MNIST를 포함한 여러 벤치마크 데이터셋에서 제안된 LMSE 손실을 MSE 및 MSLE와 비교하기 위해.

제안 방법

• MSE 손실 함수 내 예측 오차에 로그 변환을 적용하여 로그 평균 제곱 오차(LMSE) 손실을 도입한다.
• LMSE 손실은 $ L_{\text{LMSE}}(y,\hat{y}) = \frac{1}{N} \sum_{n=1}^{N} (\log(y+1) - \log(\hat{y}+1))^2 $ 로 정의되며, 타겟과 예측 모두에 로그 스케일링을 적용한다.
• 정확한 손실 함수 간 비교를 위해 잠재 차원과 학습률을 조정하기 위해 그리드 서치를 활용한다.
• 10개 클래스 설정 당 각 데이터셋에서 이상 탐지 성능 평가를 위한 주요 평가 지표로 AUROC를 사용한다.
• 손실 수렴과 기울기 역학을 시각화하여 MSE와 LMSE 간의 학습 안정성 차이를 비교한다.
• MNIST 및 Fashion-MNIST에서 아블레이션 스터디를 수행하여 런 간 평균 성능와 표준편차를 분석한다.

실험 결과

연구 질문

• RQ1 MSE 손실의 로그 변환은 자동에코더 기반 이상 탐지 모델에서 학습 안정성을 향상시키는가?
• RQ2 학습 과정에서 LMSE는 손실 수렴 속도와 일관성 면에서 MSE 및 MSLE보다 우수한가?
• RQ3 다양한 정상 클래스 정의에 대해 AUROC로 측정한 이상 탐지 성능에 LMSE가 미치는 영향은 무엇인가?
• RQ4 LMSE의 성능 향상은 MNIST 및 Fashion-MNIST와 같은 다양한 데이터셋에서 통계적으로 유의미하고 일관된가?
• RQ5 MSE에 비해 다양한 하이퍼파라미터 설정에서 학습 결과의 분산을 줄일 수 있는가?

주요 결과

• MNIST 및 Fashion-MNIST 양쪽 모두에서 LMSE는 더 낮은 평균 손실과 런 간 표준편차를 보이며 손실 수렴 안정성이 뛰어나다는 것을 입증했다.
• MNIST 데이터셋에서 LMSE는 평균 AUROC 0.893 ± 0.067을 기록하여 MSE의 0.887 ± 0.074보다 평균 AUROC에서 0.006 향상되었다.
• MNIST의 '클래스 2' 이상 탐지 작업에서 LMSE는 MSE 대비 최대 0.017 AUROC 향상을 기록했다.
• Fashion-MNIST에서는 LMSE의 평균 AUROC(0.901 ± 0.060)가 MSE(0.903 ± 0.060)와 약간 낮았지만, 성능 안정성은 동일했다.
• MNIST에서 10개 클래스에 걸친 AUROC의 표준편차는 LMSE(0.067)가 MSE(0.074)보다 낮아 더 일관된 성능를 보였다.
• 시각적 분석을 통해 LMSE는 고오차 영역에서 더 급격한 기울기를 생성함으로써 큰 오차를 신속히 수정하고 학습 강건성을 향상시킨다는 점을 확인했다.