[논문 리뷰] InFlow: Robust outlier detection utilizing Normalizing Flows

Nishant Kumar, Pia Hanfeld외 4명|arXiv (Cornell University)|2021. 06. 10.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 5

한 줄 요약

이 논문은 훈련 중에 이상치 데이터가 필요하지 않은 채로 정규화 흐름을 주목사용 메커니즘으로 강화하여 강력한 이상치 탐지 성능을 향상시키는 InFlow를 제안한다. 주목사용을 통해 고수준의 의미적 특징을 포착함으로써 InFlow는 표준 정규화 흐름의 과신 문제를 해결하며, 분포 외 샘플에 대해 분포 내 데이터보다 훨씬 낮은 우도를 할당함으로써 이상 탐지 분야에서 최고 성능을 달성한다.

ABSTRACT

Normalizing flows are prominent deep generative models that provide tractable probability distributions and efficient density estimation. However, they are well known to fail while detecting Out-of-Distribution (OOD) inputs as they directly encode the local features of the input representations in their latent space. In this paper, we solve this overconfidence issue of normalizing flows by demonstrating that flows, if extended by an attention mechanism, can reliably detect outliers including adversarial attacks. Our approach does not require outlier data for training and we showcase the efficiency of our method for OOD detection by reporting state-of-the-art performance in diverse experimental settings. Code available at https://github.com/ComputationalRadiationPhysics/InFlow .

연구 동기 및 목표

• 정규화 흐름에서 분포 외 샘플이 분포 내 샘플보다 높은 우도를 가짐으로써 발생하는 과신 문제를 해결하기 위해.
• 훈련 중에 레이블이 지정된 이상치 데이터가 필요 없는 신뢰할 수 있는 비지도 이상치 탐지 방법을 개발하기 위해.
• 기존 정규화 흐름에 주목사용 메커니즘을 통합함으로써 의미적 특징 표현 및 분포 내 데이터와 분포 외 데이터 간의 분리 성능 향상 여부를 입증하기 위해.
• 흐름 모델의 아키텍처 변형이 이상치 탐지 성능에 영향을 미치지 않음을 검증함으로써 주목사용 메커니즘이 강건성의 핵심 요소임을 시사하기 위해.

제안 방법

• 정규화 흐름의 커플링 블록에 주목사용 메커니즘을 통합하여 국소 픽셀 상관관계 외에도 고수준 의미적 특징을 모델링함으로써 성능 향상.
• 학습 가능한 파rameter $ \theta $를 가진 역전치, 이항사상 변환 $ f: \mathcal{X} \to \mathcal{Z} $를 사용하며, 변수 변화 공식을 적용하여 계산 가능한 로그 우도를 계산.
• 잠재 공간 $ z $에 다변량 정규분포 사전확률를 적용하여, $ \log p_\theta(x) $의 임계값 설정을 통한 우도 기반 이상치 탐지 가능.
• 커플링 블록의 $ s $ 및 $ t $ 하위망에 공유되지 않은 가중치를 사용하여 표현 능력을 향상시키고 모드 붕괴를 방지.
• 분포 내 및 분포 외 샘플에 대한 특징 학습 동역학을 분석하기 위해 활성화값, 커플링 블록 출력값, 잠재 공간 표현을 시각화.
• 유의수준 $ \alpha = 0.05 $에서 AUCROC를 사용하여 성능 평가하며, 여러 분포 외 데이터셋 간의 로그 우도 분포를 비교.

실험 결과

연구 질문

• RQ1 정규화 흐름에 주목사용 메커니즘이 포함되면 분포 내 및 분포 외 샘플 간의 분리 성능 향상이 가능한가?
• RQ2 계산 가능한 우도를 가짐에도 불구하고 표준 정규화 흐름이 왜 이상 탐지에 실패하는가?
• RQ3 훈련 시 이상치 데이터가 필요 없이도 정규화 흐름에 주목사용을 통합함으로써 이상 예측의 과신이 감소하는가?
• RQ4 흐름 아키텍처의 설계(예: 커플링 블록 수, 가중치 공유 여부)가 이상 탐지 성능에 어떤 영향을 미치는가?
• RQ5 주목사용 기반 정규화 흐름은 MNIST, SVHN, CIFAR10, Tiny ImageNet 등 다양한 분포 외 데이터셋에 일반화 가능한가?

주요 결과

• InFlow는 모든 평가된 분포 외 데이터셋에서 최고 성능을 달성하며, CelebA에서 훈련한 경우 MNIST, FashionMNIST, SVHN, CIFAR10, Tiny ImageNet, Noise, Constant 데이터셋에 대해 AUCROC 값이 1.0을 기록한다.
• 모델은 분포 외 데이터셋에 대해 분포 내 CelebA 샘플보다 훨씬 낮은 로그 우도를 할당함으로써, $ \alpha = 0.05 $ 수준에서도 강력한 이상 탐지 성능을 입증한다.
• 시각화 결과는 InFlow가 분포 내 데이터에 대해 잠재 공간에서 의미적 구조를 유지하는 반면, 분포 외 입력은 더 구조가 흐트러지고 우도가 낮은 표현으로 변환됨을 확인한다.
• 주목사용 메커니즘이 국소 픽셀 수준 통계에 의존하는 것에서 벗어나 고수준 의미적 특징을 학습함으로써 일반화 성능 향상의 이유를 설명한다.
• 커플링 블록 수($ K=2 $ 대비 $ K=4 $) 및 가중치 공유 여부(공유 대비 비공유)와 같은 아키텍처 하이퍼파ram터를 변경하더라도 이상 탐지 성능이 저하되지 않음을 확인하여 주목사용 메커니즘의 강건성을 입증한다.
• 결과적으로 향후 이상 탐지 연구는 흐름 아키텍처를 재설계하는 것보다는 기존 정규화 흐름에 주목사용 메커니즘을 통합하는 데 초점을 맞춰야 한다는 시사.