[논문 리뷰] Dream the Impossible: Outlier Imagination with Diffusion Models

Xuefeng Du, Yiyou Sun외 2명|arXiv (Cornell University)|2023. 09. 23.

Anomaly Detection Techniques and Applications인용 수 8

한 줄 요약

Dream-ood는 확산 모델을 이용해 표준 분포 데이터로 조건화된 픽셀 공간의 사진-현실적인 outliers를 생성하고 이를 사용해 OOD 탐지를 정규화하고 향상시킵니다. 또한 ID 일반화에서 잠재적인 이점을 보입니다.

ABSTRACT

Utilizing auxiliary outlier datasets to regularize the machine learning model has demonstrated promise for out-of-distribution (OOD) detection and safe prediction. Due to the labor intensity in data collection and cleaning, automating outlier data generation has been a long-desired alternative. Despite the appeal, generating photo-realistic outliers in the high dimensional pixel space has been an open challenge for the field. To tackle the problem, this paper proposes a new framework DREAM-OOD, which enables imagining photo-realistic outliers by way of diffusion models, provided with only the in-distribution (ID) data and classes. Specifically, DREAM-OOD learns a text-conditioned latent space based on ID data, and then samples outliers in the low-likelihood region via the latent, which can be decoded into images by the diffusion model. Different from prior works, DREAM-OOD enables visualizing and understanding the imagined outliers, directly in the pixel space. We conduct comprehensive quantitative and qualitative studies to understand the efficacy of DREAM-OOD, and show that training with the samples generated by DREAM-OOD can benefit OOD detection performance. Code is publicly available at https://github.com/deeplearning-wisc/dream-ood.

연구 동기 및 목표

• OOD 탐지의 과잉 확신을 줄이기 위한 보조 데이터 규제에 의해 동기를 부여하고 해결합니다.
• 수동 선별 없이 outlier 데이터를 자동으로 생성하여 고해상도이고 인간이 해석 가능한 outliers를 가능하게 합니다.
• 픽셀 공간에서 정보가 풍부한 outliers 샘플링을 가능하게 하기 위해 텍스트 조건부 잠재 공간을 활용합니다.
• 합성 가이드 규제가 표준 벤치마크에서 OOD 탐지를 개선함을 보여줍니다.

제안 방법

• 이미지 인코더를 학습시켜 이미지 임베딩을 확산 모델 토큰 임베딩에 클래스 간 일치시키면서 데이터 분포의 텍스트 조건부 잠재 공간을 학습합니다.
• 텍스트 조건부 잠재 공간에서 가능도 낮은 임베딩을 샘플링하고 이를 확산 모델을 이용해 픽셀-공간의 outlier로 디코딩합니다.
• ID 분류기를 L_ood와 일반 교차 엔트로피 L_CE를 결합한 손실로 정규화하여 ID 이미지와 생성된 OOD 이미지 간의 구분을 촉진합니다.
• 경계 ID 임베딩 주위에서 k-NN 기반 샘플링 전략을 사용해 근접한 OOD 샘플을 생성합니다.
• 선택적으로 Dream-ood를 Dream-id로 확장하여 분포 이동에서 일반화를 개선하기 위해 ID 유사 인라이어를 샘플링합니다.

실험 결과

연구 질문

• RQ1 확산 모델을 이용해 ID 데이터에 조건부로 고해상도 사진-현실적인 outliers를 상상적으로 생성하도록 가이드할 수 있을까?
• RQ2 픽셀 공간에서 합성된 outliers가 잠재 공간이나 무작위 프롬프트에 비해 OOD 탐제를 개선하는가?
• RQ3 제안된 텍스트 조건부 잠재 공간이 상상된 outliers의 해석 가능한 시각화를 가능하게 하는가?
• RQ4 합성된 outliers가 데이터 증강으로 사용될 때 ID 일반화도 향상시킬 수 있는가?

주요 결과

• Dream-ood는 ID 데이터에서 벗어나고 인간이 해석 가능한 의미 있는 고해상도 outliers를 생성합니다.
• Dream-ood가 생성한 샘플로 학습하면 여러 데이터셋과 기초선에서 OOD 탐지가 향상되며, 종종 기존 합성 방법보다 우수합니다.
• Dream-ood는 이전의 잠재 공간 접근 방식과 달리 상상된 outliers의 시각화를 가능하게 하며 픽셀 공간에서의 리얼리즘에서도 이점을 보여줍니다.
• 가벼운 규제 가중치는 최적의 OOD 성능을 제공하지만 과도한 규제는 결과를 악화시킬 수 있습니다.
• Dream-id는 합성 프레임워크가 분포 이동 벤치마크에서 ID 일반화를 향상시킬 수 있음을 보여줍니다.