[논문 리뷰] Out-of-Distribution Detection in Multi-Label Datasets using Latent Space of $\beta$-VAE

Vijaya Kumar Sundar, Shreyas Ramakrishna외 3명|arXiv (Cornell University)|2020. 03. 10.

Anomaly Detection Techniques and Applications참고 문헌 13인용 수 4

한 줄 요약

이 논문은 β-VAE의 분리된 잠재 공간을 활용하여 다중 레이블 자율주행 데이터셋에서 분포 외(OOD) 검출을 위한 새로운 방법을 제안한다. 특정 생성 인자(예: 시간대, 교통량, 보행자)에 의해 정의된 데이터 분할에 대해 별도의 β-VAE를 훈련하고, 해당 인자에 민감한 잠재 변수를 선택함으로써, 학습된 임계값과의 KL 발산을 사용하여 분포 이탈을 높은 정확도로 탐지한다. 이 방법은 nuScenes 데이터셋의 보행자 및 교통량 분할에서 최대 100%의 OOD 검출 성능을 달성한다.

ABSTRACT

Learning Enabled Components (LECs) are widely being used in a variety of perception based autonomy tasks like image segmentation, object detection, end-to-end driving, etc. These components are trained with large image datasets with multimodal factors like weather conditions, time-of-day, traffic-density, etc. The LECs learn from these factors during training, and while testing if there is variation in any of these factors, the components get confused resulting in low confidence predictions. The images with factors not seen during training is commonly referred to as Out-of-Distribution (OOD). For safe autonomy it is important to identify the OOD images, so that a suitable mitigation strategy can be performed. Classical one-class classifiers like SVM and SVDD are used to perform OOD detection. However, the multiple labels attached to the images in these datasets, restricts the direct application of these techniques. We address this problem using the latent space of the $\beta$-Variational Autoencoder ($\beta$-VAE). We use the fact that compact latent space generated by an appropriately selected $\beta$-VAE will encode the information about these factors in a few latent variables, and that can be used for computationally inexpensive detection. We evaluate our approach on the nuScenes dataset, and our results shows the latent space of $\beta$-VAE is sensitive to encode changes in the values of the generative factor.

연구 동기 및 목표

• 기존의 일괄 OOD 방법이 레이블 겹침으로 인해 실패하는 다중 레이블 자율주행 데이터셋에서 분포 외 이미지를 탐지하는 과제를 해결하기 위해.
• 우도, 시간대, 교통 밀도 등 복잡하고 겹치는 요소를 포함하는 실제 다중 모odal 데이터셋인 nuScenes와 같은 환경에서 신뢰할 수 있는 OOD 검출을 가능하게 하기 위해.
• β-VAE에서 유도된 분리된 표현을 활용하여 특정 생성 인자에서의 분포 이탈을 탐지할 수 있는 확장 가능하고 계산 효율적인 방법을 개발하기 위해.

제안 방법

• 다중 레이블 데이터셋(예: nuScenes)을 시간대, 교통량 등 개별 생성 인자에 따라 부분집합으로 나누어 변동성을 분리한다.
• 각 부분집합에 대해 별도의 β-VAE를 훈련하여 특정 잠재 변수가 목표 생성 인자의 변화를 캡처하는 분리되고 압축된 잠재 표현을 학습한다.
• 재구성 오차와 분리도 측정 지표를 사용하여 각 인자에 대해 가장 정보가 풍부한 잠재 변수를 선택함으로써, 목표 인자의 변화에 민감한지 확인한다.
• 거짓 경고를 최소화하기 위해 훈련 샘플의 KL 발산 값 중 75번째 백분위수를 기준값 τ로 설정한다.
• 추론 단계에서 테스트 이미지의 잠재 분포와 훈련 분포 간의 KL 발산을 계산하고, τ를 초과하면 OOD로 표시한다.
• 세 단계로 구성된 파이프라인을 사용한다: (1) 데이터셋 분할 및 하이퍼파rameter 조정, (2) β-VAE 훈련 및 잠재 변수 선택, (3) 임계값 적용된 KL 발산을 통한 실시간 OOD 검출.

실험 결과

연구 질문

• RQ1 β-VAE의 잠재 공간은 다중 레이블 데이터셋에서 시간대, 교통량, 보행자와 같은 특정 생성 인자의 분포 이탈을 신뢰성 있게 탐지할 수 있는가?
• RQ2 레이블이 상호 배타적이지 않은 다중 레이블 데이터셋에 대해 일괄 OOD 검출 기법을 어떻게 적응시킬 수 있는가?
• RQ3 실제 자율주행 데이터에서 OOD 검출에 최적의 분리도를 얻기 위해 β-VAE의 하이퍼파rameter(β 및 잠재 차원)는 어떻게 설정해야 하는가?
• RQ4 학습된 잠재 공간에서의 KL 발산은 다양한 생성 인자에 대해 OOD 샘플 탐지에 효과적인 지표로 작용하는가?
• RQ5 다양한 시나리오 복잡도에 걸쳐 거짓 긍정을 과도하게 유발하지 않으면서도 단일 기준값 τ를 효과적으로 적용할 수 있는가?

주요 결과

• 시간대 요인에 대해 β=1.8 및 nLatent=30를 사용한 β-VAE 검출기는 테스트 세트에서 99%의 내분포 검출률과 95%의 OOD 검출률을 기록했다.
• 교통 밀도 요인에 대해 β=1.6 및 nLatent=30를 사용한 검출기는 90%의 내분포 검출률과 74%의 OOD 검출률을 기록하여 미세한 변화에 대해 중간 수준의 성능를 보였다.
• 보행자 요인에 대해 검출기는 100%의 내분포 검출률과 100%의 OOD 검출률을 기록하여 이 요인의 유무에 매우 민감한 것으로 나타났다.
• 75번째 백분위수 기준값(τ75)은 모든 분할에서 거짓 긍정을 최소화하면서도 높은 검출률을 유지하는 데 최적의 성능를 보였다.
• 배경 복잡도가 높은 시나리오에서는 배경 특징가 모든 잠재 변수에 분포되어 있어 특정 인자에 대한 분리가 어려워지며 성능이 저하되었다.
• 시간대와 같이 명확하게 구분 가능한 생성 인자에 대해서는 시나리오 복잡도에 관계없이 강건한 성능를 보였지만, 교통 밀도처럼 미묘하고 맥락 의존적인 요인에 대해서는 어려움을 겪었다.