[논문 리뷰] Discriminative Multi-level Reconstruction under Compact Latent Space for One-Class Novelty Detection

Jaewoo Park, Yoon Gyo Jung외 1명|arXiv (Cornell University)|2020. 03. 03.

Anomaly Detection Techniques and Applications참고 문헌 61인용 수 5

한 줄 요약

이 논문은 생성적 적대적 틀 내에서 내부의 분류 기반 레이어를 통해 압축되고 붕괴되지 않은 잠재 표현을 학습하는 one-class 이상 탐지 모델인 Discriminative Compact Autoencoder(DCAE)를 제안한다. 다중 수준 복원 및 판별기의 이전 레이어를 활용한 새로운 의미 기반 복원 오차를 통해, CIFAR-10 및 기타 벤치마크에서 이상 탐지와 적대적 예외 탐지 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In one-class novelty detection, a model learns solely on the in-class data to single out out-class instances. Autoencoder (AE) variants aim to compactly model the in-class data to reconstruct it exclusively, thus differentiating the in-class from out-class by the reconstruction error. However, compact modeling in an improper way might collapse the latent representations of the in-class data and thus their reconstruction, which would lead to performance deterioration. Moreover, to properly measure the reconstruction error of high-dimensional data, a metric is required that captures high-level semantics of the data. To this end, we propose Discriminative Compact AE (DCAE) that learns both compact and collapse-free latent representations of the in-class data, thereby reconstructing them both finely and exclusively. In DCAE, (a) we force a compact latent space to bijectively represent the in-class data by reconstructing them through internal discriminative layers of generative adversarial nets. (b) Based on the deep encoder's vulnerability to open set risk, out-class instances are encoded into the same compact latent space and reconstructed poorly without sacrificing the quality of in-class data reconstruction. (c) In inference, the reconstruction error is measured by a novel metric that computes the dissimilarity between a query and its reconstruction based on the class semantics captured by the internal discriminator. Extensive experiments on public image datasets validate the effectiveness of our proposed model on both novelty and adversarial example detection, delivering state-of-the-art performance.

연구 동기 및 목표

• 오토인코더 기반 one-class 이상 탐지에서 발생하는 잠재 표현 붕괴 문제로 인한 내부 클래스 복원 품질 저하를 해결하기 위해.
• 내부 클래스 데이터의 압축되지만 붕괴되지 않은 잠재 표현을 학습함으로써 복원 기반 이상 탐지 성능을 향상시키기 위해.
• 내부 클래스와 외부 클래스 샘플 간의 고수준 의미적 차이를 포착하는 더 효과적인 복원 오차 메트릭을 개발하기 위해.
• 외부 분류기나 복잡한 샘플링 기법에 의존하지 않고 정확한 추론을 가능하게 하기 위해.
• 표준 이상 탐지 및 적대적 예외 탐지 작업 모두에서 뛰어난 성능을 달성하기 위해.

제안 방법

• DCAE는 판별기를 통해 압축되고 붕괴되지 않은 표현을 보장하는 복잡한 오토인코더를 사용하며, 블로킹 잠재 공간을 갖는다.
• 다중 수준 복원 오차(L(eaf))를 사용하여 인코더-디코더 레이어의 여러 단계에서 복원을 강제함으로써 특징 학습과 일반화 능력을 향상시킨다.
• 모델은 판별기의 이전 레이어를 활용하여 입력과 복원을 투영함으로써 새로운 의미 기반 복원 오차 점수를 도입한다.
• 이상 탐지 점수 함수 sa(x)는 판별기의 이전 레이어에서 정규화된 특징 간의 코사인 유사도의 1을 뺀 값으로 정의되며, 클래스 의미를 포착한다.
• 인코더는 개방 집합 위험에 취약하도록 설계되어, 외부 클래스 샘플은 심지어 동일한 압축 잠재 공간에 매핑되어도 낮은 품질로 복원된다.
• 외부 분류기나 복잡한 샘플링 기법을 피하기 위해, 이상 탐지 메커니즘을 오토인코더의 내부 아키텍처에 통합한다.

실험 결과

연구 질문

• RQ1 압축되고 붕괴되지 않은 잠재 표현을 학습함으로써, 복원 기반 one-class 이상 탐지 모델이 내부 클래스 데이터의 세밀하고 독점적인 복원을 달성할 수 있는가?
• RQ2 판별기의 이전 레이어를 활용해 의미 기반 복원 오차를 계산하는 것이 픽셀 단위 복원 오차보다 이상 탐지 성능을 향상시키는가?
• RQ3 다중 수준 복원 오차가 one-class 환경에서 특징 학습을 향상시키고 탐지 정확도를 높이는가?
• RQ4 제안된 방법은 이상 분포 샘플과 적대적 예외를 탐지하는 데 있어 최신 기술 수준의 모델들과 비교해 어떻게 성능을 내는가?
• RQ5 tanh 활성화 함수를 통해 잠재 공간을 명시적으로 경계함으로써 성능이 표현 붕괴로 인해 저하되는가?

주요 결과

• DCAE는 Protocol B 하에서 CIFAR-10에서 평균 AUC 0.7412를 기록하며, OCGAN, D-SVDD, AnoGAN을 포함한 모든 베이스라인을 앞서며 성능을 뛰어넘었다.
• 경계 공격을 사용한 적대적 예외 탐지에서, 의미 기반 점수(sa)를 사용한 DCAE는 AUC 0.929를 기록하여, 점수 함수 sc를 사용한 DCAE(0.877)와 이전 기법들인 D-SVDD(0.803)를 크게 앞섰다.
• 제거 실험 결과, Leaf 다중 수준 복원 오차나 Linv−z 구성 요소를 제거하면 성능 저하가 발생하며, 이러한 구성 요소가 없는 DCAE는 평균 AUC 0.7080에 그쳤다.
• 제안된 구성 요소가 없지만 tanh 경계를 적용한 잠재 공간을 가진 모델(tanh-DCAE)은 성능이 더 열 劣하므로(평균 AUC 0.6796), 명시적 경계화가 표현 붕괴를 유도함을 확인했다.
• 점수 계산에 사용하는 레이어의 깊이가 깊어질수록 성능이 단조적으로 향상되며, 이는 판별기의 고수준 특징이 더 구분력 있는 의미 정보를 포착함을 검증한다.
• 판별기의 이전 레이어에 기반한 제안된 점수 함수 sa(x)는 모든 클래스에서 픽셀 단위 복원 오차(sper−pixel)보다 일관되게 뛰어나며, 의미적 이상을 포착하는 데서의 우수성을 입증한다.