[논문 리뷰] On the Out-of-distribution Generalization of Probabilistic Image Modelling

Ming‐Tian Zhang, Andi Zhang외 1명|arXiv (Cornell University)|2021. 09. 04.

Advanced Data Compression Techniques인용 수 9

한 줄 요약

이 논문은 확률적 이미지 모델링에서 분포 외(OOD) 일반화를 향상시키기 위해 국소적 이미지 특징에만 집중하는 국소 자기회귀 모델을 제안한다. 국소적 의존성을 모델링함으로써, 비지도 OOD 탐지에서 최고 성능을 달성하고, 손실 없는 이미지 압축기인 NeLLoC를 새롭게 설계하여 높은 압축률과 매우 효율적인 병렬 복원을 실현한다.

ABSTRACT

Out-of-distribution (OOD) detection and lossless compression constitute two problems that can be solved by the training of probabilistic models on a first dataset with subsequent likelihood evaluation on a second dataset, where data distributions differ. By defining the generalization of probabilistic models in terms of likelihood we show that, in the case of image models, the OOD generalization ability is dominated by local features. This motivates our proposal of a Local Autoregressive model that exclusively models local image features towards improving OOD performance. We apply the proposed model to OOD detection tasks and achieve state-of-the-art unsupervised OOD detection performance without the introduction of additional data. Additionally, we employ our model to build a new lossless image compressor: NeLLoC (Neural Local Lossless Compressor) and report state-of-the-art compression rates and model size.

연구 동기 및 목표

• 확률적 이미지 모델에서 분포 외(OOD) 일반화에 영향을 주는 요소를 조사한다. 특히 가능도 기반 응용 분야에서의 적용을 중심으로 한다.
• 깊이 학습된 생성 모델이 분포 내 데이터로만 훈련되었음에도 불구하고 분포 외 데이터에 대해 높은 가능도를 부여하는 이유에 대한 이해 부족 문제를 해결한다.
• 추가 데이터가 필요 없이 국소적 특징 모델링을 통해 모델 일반화 능력을 향상시켜 OOD 탐지 성능을 향상시킨다.
• 국소 자기회귀 모델을 기반으로 한 새로운 손실 없는 이미지 압축기 NeLLoC를 설계하여 고압축 효율성과 병렬 복원 가능성을 확보한다.
• 가능도 기반 일반화 원칙을 共通으로 활용함으로써 OOD 탐지와 손실 없는 압축 간의 연결 고리를 설정한다.

제안 방법

• 모든 픽셀의 분포를 전체 이미지가 아닌 국소적 수신장에 조건화하는 국소 자기회귀 모델을 제안하여 전반적인 전역적 맥락 의존도를 감소시킨다.
• 각 픽셀이 고정된 크기의 이웃 영역 기반으로 예측되는 국소 자기회귀 구조를 사용하여, 패치 단위 처리를 통해 병렬 복원을 가능하게 한다.
• 학습 가능한 국소적 맥락 인코더를 활용해 국소 영역에서 특징을 추출하고, 이를 정규화 플로우 또는 유사 밀도 모델을 통해 픽셀 분포를 예측한다.
• 두 가지 작업에 모델를 적용한다: 가능도 임계치를 사용한 비지도 OOD 탐지, 추정된 가능도 기반 산술 부호화를 통한 손실 없는 이미지 압축.
• 모델 크기와 압축률을 핵심 설계 지표로 삼아, 국소 자기회귀 모델 기반의 손실 없는 이미지 압축기인 NeLLoC(Neural Local Lossless Compressor)를 도입한다.
• 이미지를 겹치지 않는 패치로 나누어 각 패치를 독립적으로 처리함으로써 병렬 복원을 가능하게 하여 최대 400배의 속도 향상을 달성하고, 압축률에 대한 손실는 최소한으로 유지한다.

실험 결과

연구 질문

• RQ1 확률적 이미지 모델에서 분포 외(OOD) 일반화 능력을 주로 이끄는 특징는 무엇인가?
• RQ2 깊이 학습된 생성 모델이 분포 내 데이터로만 훈련되었음에도 불구하고 분포 외 데이터에 대해 높은 가능도를 부여하는 이유는 무엇인가?
• RQ3 오직 국소적 이미지 특징만을 모델링하는 것이 가능도 기반 작업에서 OOD 일반화를 향상시킬 수 있는가?
• RQ4 국소 자기회귀 모델이 추가 데이터 없이도 비지도 OOD 탐지에서 최고 성능을 달성할 수 있는가?
• RQ5 이러한 모델을 활용해 압축률 경쟁력과 작은 모델 크기를 확보하면서도 고효율적이고 병렬 처리가 가능한 손실 없는 이미지 압축기를 설계할 수 있는가?

주요 결과

• 국소적 특징이 확률적 이미지 모델에서 OOD 일반화를 주도한다. 전역적 맥락과 의미적 특징은 OOD 데이터에 대해 예측력이 떨어진다.
• 제안된 국소 자기회귀 모델은 추가 데이터 없이 CIFAR10 및 ImageNet32에서 비지도 OOD 탐지에서 최고 성능을 달성한다.
• NeLLoC는 최고 수준의 압축률을 달성한다: ImageNet64에서 3.24 BPD, ImageNet에서 3.25 BPD를 기록하며, 모델 크기는 단지 2.75 MB이다.
• 이미지를 400개의 패치로 나누어 복원하면 BPD가 0.11 증가(3.25에서 3.34로)하나, 최대 400배의 속도 향상과 함께 압축률 저하를 최소화한다.
• CIFAR10에서 훈련하고 OOD 데이터로 테스트한 경우, ImageNet64에서 3.25 BPD를 달성하여 강력한 OOD 일반화 능력을 입증한다.
• CIFAR10에서 훈련하고 SVHN(OOD)에서 테스트한 경우, NeLLoC는 2.13 BPD를 기록하여 기존 방법인 HiLLoC(2.29 BPD)와 L3C(3.17 BPD)를 모두 초월하며, 개선된 OOD 일반화 능력을 확인한다.