[논문 리뷰] Quadratic Neuron-empowered Heterogeneous Autoencoder for Unsupervised Anomaly Detection

Jing-Xiao Liao, Bojian Hou외 6명|arXiv (Cornell University)|2022. 04. 02.

Anomaly Detection Techniques and Applications참고 문헌 74인용 수 5

한 줄 요약

이 논문은 전통적인 신경망과 이차형 신경망을 통합하여 비지도 이상 탐지 성능을 햖थ한 새로운 이종 자동에코더(HAE)를 제안한다. 이차형 신경망의 비선형 특징 표현에서 이론적 우월성을 활용함으로써, 여러 기준 데이터셋에서 동종 자동에코더 및 최신 기술 모델보다 뛰어난 성능을 달성한다. HAE-Y는 평균 AUC 0.796을 기록하며 최고의 평균 순위 2.500을 확보하였다.

ABSTRACT

Inspired by the complexity and diversity of biological neurons, a quadratic neuron is proposed to replace the inner product in the current neuron with a simplified quadratic function. Employing such a novel type of neurons offers a new perspective on developing deep learning. When analyzing quadratic neurons, we find that there exists a function such that a heterogeneous network can approximate it well with a polynomial number of neurons but a purely conventional or quadratic network needs an exponential number of neurons to achieve the same level of error. Encouraged by this inspiring theoretical result on heterogeneous networks, we directly integrate conventional and quadratic neurons in an autoencoder to make a new type of heterogeneous autoencoders. To our best knowledge, it is the first heterogeneous autoencoder that is made of different types of neurons. Next, we apply the proposed heterogeneous autoencoder to unsupervised anomaly detection for tabular data and bearing fault signals. The anomaly detection faces difficulties such as data unknownness, anomaly feature heterogeneity, and feature unnoticeability, which is suitable for the proposed heterogeneous autoencoder. Its high feature representation ability can characterize a variety of anomaly data (heterogeneity), discriminate the anomaly from the normal (unnoticeability), and accurately learn the distribution of normal samples (unknownness). Experiments show that heterogeneous autoencoders perform competitively compared to other state-of-the-art models.

연구 동기 및 목표

• 단지 내적 연산을 사용하는 전통적 신경망에 의존하는 동종 딥 네트워크의 한계를 해결하기 위해.
• 딥 아키텍처에서 전통적 신경망과 이차형 신경망을 융합함으로써 이론적 및 실용적 이점을 탐색하기 위해.
• 다양한 신경망 유형을 통합하여 표현 학습을 향상시키는 새로운 유형의 자동에코더—이종 자동에코더(HAE)—를 설계하기 위해.
• 실제 이상 탐지 실험을 통해 이종 네트워크의 기능 근사에서 이론적 우월성을 검증하기 위해.
• 동종 자동에코더보다 더 적은 파라미터와 FLOPs로도 더 뛰어난 이상 탐지 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 기존 신경망의 내적 연산을 단순화된 이차함수로 대체하는 이차형 신경망을 제안하여 비선형 특징 표현 능력을 향상시킨다.
• 이종 네트워크에서 효율적으로 근사 가능한 이론적 함수를 구축하며, 순수하게 전통적 또는 이차형 네트워크에서는 지수적으로 더 많은 뉴런이 필요로 한다.
• 동일한 아키텍처 내에서 전통적 및 이차형 신경망을 융합하여 더 rich한 표현 학습이 가능한 이종 자동에코더(HAE)를 설계한다.
• HAE-X, HAE-Y, HAE-I 등의 HAE 변종에서 이중 브랜치 또는 단일 브랜치 아키텍처를 활용하며, 인코더-디코더 경로를 공유하거나 별도로 운영한다.
• 표준 자동에코더 손실(재구성 오차)을 사용해 HAE를 훈련하고, AUC를 주요 평가 지표로 사용해 이상 탐지 성능을 평가한다.
• t-SNE 시각화를 활용해 AE 및 HAE 모델 간 정상 및 이상 샘플의 잠재 공간 군집화를 비교한다.

실험 결과

연구 질문

• RQ1 전통적 및 이차형 신경망을 융합한 이종 네트워크가 순수 전통적 또는 순수 이차형 네트워크보다 특정 함수를 더 효율적으로 근사할 수 있는가?
• RQ2 이차형 신경망을 자동에코더 아키텍처에 통합함으로써 비지도 이상 탐지의 표현 학습이 향상되는가?
• RQ3 제안된 이종 자동에코더는 다양한 데이터셋에서 최신 기술 모델과 비교해 어떤 성능을 보이는가?
• RQ4 이종 자동에코더는 동종 자동에코더보다 더 적은 파라미터와 FLOPs로 더 뛰어난 이상 탐지 성능을 달성할 수 있는가?
• RQ5 다양한 HAE 아키텍처(예: HAE-X, HAE-Y, HAE-I)가 표현 품질과 탐지 정확도에 어떤 영향을 미치는가?

주요 결과

• HAE-Y는 모든 데이터셋에서 평균 AUC 0.796을 기록하며 최고의 평균 순위 2.500을 확보하여 모든 베이스라인을 압도했다.
• HAE-X는 8개 데이터셋 중 7개에서 최고 성능을 기록했고, HAE-Y는 6개에서 선두를 달렸으며, 이는 일관된 우월성을 보여주었다.
• HAEs는 OCSVM, SUDO, DAGMM 등의 최신 기술 모델보다 경쟁력 있거나 뛰어난 AUC 스코어를 기록했으며, HAE-Y는 5개 데이터셋에서 최고 성능을 기록했다.
• t-SNE 시각화 결과, HAE의 잠재 공간에서 이상치가 AE보다 더 농축되어 있음을 확인하여 이상 샘플의 분리가 더 잘 이루어졌음을 시사했다.
• HAE-I는 HAEs 중에서 3위를 기록했으며, HAE-Y보다 0.6% 낮은 AUC를 기록했지만 더 적은 파라미터와 FLOPs를 사용하여 효율성 향상을 입증했다.
• 제안된 HAEs는 표준 자동에코더와 이차형 자동에코더를 항상 능가하여 이종 뉴런 통합의 유용성을 확인했다.