[논문 리뷰] Shapley Values of Reconstruction Errors of PCA for Explaining Anomaly Detection

Naoya Takeishi|arXiv (Cornell University)|2019. 09. 08.

Anomaly Detection Techniques and Applications참고 문헌 29인용 수 5

한 줄 요약

이 논문은 PCA 기반 이상 탐지에서 복원 오차의 셰플리 값(Shapley values)을 계산하는 방법을 제안하며, 특성 간 상관관계를 정확히 반영하기 위해 PCA의 확률적 모델을 사용한다. 이 방법은 원시 복원 오차보다 이상 특성에 대한 설명이 더 신뢰할 수 있게 하며, 기준 데이터셋에서의 실험 결과 이상 현상의 국소화가 향상됨을 보여준다.

ABSTRACT

We present a method to compute the Shapley values of reconstruction errors of principal component analysis (PCA), which is particularly useful in explaining the results of anomaly detection based on PCA. Because features are usually correlated when PCA-based anomaly detection is applied, care must be taken in computing a value function for the Shapley values. We utilize the probabilistic view of PCA, particularly its conditional distribution, to exactly compute a value function for the Shapely values. We also present numerical examples, which imply that the Shapley values are advantageous for explaining detected anomalies than raw reconstruction errors of each feature.

연구 동기 및 목표

• 특성 간 상관관계가 존재할 경우 원시 복원 오차가 이상을 설명하는 데 한계를 가진다는 문제를 해결하기 위해.
• 셰플리 값을 사용하여 복원 오차에 기여하는 비율을 공정하게 할당하는 방법을 개발하기 위해.
• PCA의 확률적 공식을 활용하여 셰플리 값에 대한 정확한 값 함수를 계산하기 위해.
• 수치 예제를 통해 셰플리 값이 복원 오차만으로는 제공할 수 없는 더 정확한 이상 현상 설명을 가능하게 함을 입증하기 위해.

제안 방법

• 잠재 변수가 주어졌을 때의 특성 조건부 분포를 도출하기 위해 PCA의 확률적 시각을 활용한다.
• 특성이 협동군에 추가될 때 예상 복원 오차 감소량을 기반으로 셰플리 값의 값 함수를 정의한다.
• 유도된 값 함수를 사용하여 특성 간 의존성을 고려해 각 특성에 대한 정확한 셰플리 값을 계산한다.
• 복원 오차를 이상 점수로 사용하는 PCA 기반 이상 탐지에 이 방법을 적용한다.
• 수치 실험에서 비교를 위해 커널 SHAP을 기준선으로 사용한다.
• 실제 이상이 알려진 데이터셋에 대해 이 방법을 검증하며, 셰플리 값과 원시 복원 오차를 비교한다.

실험 결과

연구 질문

• RQ1 PCA 기반 이상 탐지에서 원시 복원 오차보다 셰플리 값이 복원 오차에 기여하는 특성들을 더 정확하게 설명할 수 있는가?
• RQ2 PCA의 확률적 모델을 통해 특성 간 상관관계를 고려함으로써 이상 설명의 해석 가능성은 어떻게 향상되는가?
• RQ3 실제 데이터셋에서 인간이 식별한 이상 특성과 셰플리 값은 어느 정도 상관관계가 있는가?
• RQ4 특성 간 의존성이 존재할 경우, 셰플리 값은 커널 SHAP과 비교해 어떻게 복원 오차를 설명하는가?
• RQ5 제안된 방법은 다양한 데이터셋에서 원시 복원 오차보다 일관되게 이상 국소화 성능을 뛰어나게 할 수 있는가?

주요 결과

• 셰플리 값은 원시 복원 오차보다 이상 국소화 성능이 뛰어나며, Max 케이스에서 Hits@1과 Hits@3 점수가 각각 0.316에서 0.484, 0.605에서 0.801로 향상됨.
• Min 케이스에서는 Hits@1과 Hits@3 점수가 각각 0.271에서 0.484, 0.471에서 0.710으로 향상되어 이상 국소화 능력이 더욱 뚜렷함.
• 모든 데이터셋에서 복원 오차와 셰플리 값 간 상관계수가 높음 (중위수 r_all = 0.866), 그러나 정상(р_good) 및 이상(р_bad) 부분집합에서의 상관계수는 상당히 다름으로써 성능이 맥락에 따라 달라짐을 시사.
• 유방촬영(Mammography) 데이터셋의 경우 정상 부분집합에서 상관계수가 낮음 (r_good = 0.268), 이는 특성 간 상관관계가 존재할 때 셰플리 값이 이상을 더 잘 분리함을 시사.
• Ionosphere (r_all = 0.984) 및 Wine (r_all = 0.817) 데이터셋 포함, 총 10개 데이터셋 중 7개에서 복원 오차와 셰플리 값 간 상관계수가 높음 (r_all > 0.9).
• 결과적으로 셰플리 값은 특성 간 의존성이 존재할 경우 원시 복원 오차보다 이상 현상 설명에 더 신뢰할 수 있음을 시사함.