[논문 리뷰] Autoregressive Models: What Are They Good For?

Murtaza Dalal, Alexander C. Li외 1명|arXiv (Cornell University)|2019. 10. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 11

한 줄 요약

이 논문은 자동회귀(AR) 모델이 후행 작업을 위한 밀도 추정기로서의 유용성을 조사하며, 압축 작업에서 최고 수준의 로그우도 점수를 기록하나, 그 점수들이 인지적 품질이나 작업 성능과 상관이 없다는 것을 발견한다. 낮은 음의 로그우도(예: CIFAR-10에서 2.85 비트/차원)를 기록함에도 불구하고, AR 모델은 이미지 번역(ARCycle)에서나 이상치 탐지에서 학습 신호로써 실패하여 열악한 출력을 생성하고, 비-CIFAR 이미지를 실제 이미지로 잘못 분류한다.

ABSTRACT

Autoregressive (AR) models have become a popular tool for unsupervised learning, achieving state-of-the-art log likelihood estimates. We investigate the use of AR models as density estimators in two settings -- as a learning signal for image translation, and as an outlier detector -- and find that these density estimates are much less reliable than previously thought. We examine the underlying optimization issues from both an empirical and theoretical perspective, and provide a toy example that illustrates the problem. Overwhelmingly, we find that density estimates do not correlate with perceptual quality and are unhelpful for downstream tasks.

연구 동기 및 목표

• 자기회귀 모델이 압축을 초월한 후행 작업에 대해 높은 로그우도 추정치를 유용하게 사용할 수 있는지 평가하기.
• 이미지 간 번역에서 AR 밀도 추정치가 학습 신호로서 신뢰할 수 있는지 조사하기.
• 고차원 데이터인 이미지와 같은 고차원 데이터에서 AR 모델이 이상치 탐지에 효과적으로 작동하는지 평가하기.
• 낮은 NLL 점수에도 불구하고 열악한 해를 유도하는 최적화 실패 원인 진단하기.
• 낮은 음의 로그우도가 생성 모델링에서 인지적 품질이나 일반화를 의미한다는 가정을 도전하기.

제안 방법

• 사전 훈련된 AR 모델(PixelCNN++)의 음의 로그우도(NLL)와 사이클 일致성 손실을 조합한 훈련 목표인 ARCycle을 제안하여 이미지 번역을 안내한다.
• ARCycle을 색상 MNIST와 CIFAR-10에서 훈련하여, NLL을 생성자 네트워크의 감독 신호로 사용한다.
• CIFAR-10 훈련 데이터의 평균 NLL 기반으로 1SD, 2SD, 단측 구간을 사용한 세 가지 AR 기반 임계값을 이용해 이상치 탐지 성능을 평가한다.
• 딥 페처와 가우시안 모델링을 사용하는 기준 방법인 계층 조건부 가우시안(CCG)과의 비교를 통해 AR 기반 이상치 탐지 성능을 평가한다.
• CIFAR-10에서 분류기(Inception-v1)를 훈련하고, 특징 표현을 추출한 후 계층 조건부 가우시안을 피팅하여 이상치 탐지에 활용한다.
• SVHN, 노이즈, 흑백 이미지 등 다양한 테스트 세트에서 AR 모델 점수를 평가하기 위해 비트/차원을 NLL 메트릭으로 사용한다.

실험 결과

연구 질문

• RQ1 자기회귀 모델의 로그우도 점수는 비압축 기반의 비지도 이미지 번역에 신뢰할 수 있는 학습 신호가 될 수 있는가?
• RQ2 AR 모델이 도출한 높은 로그우도 추정치는 생성된 이미지의 인지적 품질이나 현실감과 상관이 있는가?
• RQ3 AR 모델은 SVHN이나 무작위 노이즈와 같은 고차원 이미지 데이터에서 이상치를 효과적으로 탐지할 수 있는가?
• RQ4 낮은 NLL 점수를 기록함에도 불구하고 AR 모델이 왜 열악한 해로 수렴하는가?
• RQ5 실제 이미지 분포의 변화가 발생할 때, AR 모델의 밀도 추정치는 CCG와 같은 대안적 이상치 탐지 방법보다 어떻게 비교되는가?

주요 결과

• NLL과 사이클 일치성 손실을 조합한 ARCycle은 낮은 NLL(최소 3 비트/차원)을 기록함에도 불구하고 MNIST 공간에서 선형 패턴을 생성하는 데로 붕괴되며, 이는 실제 숫자 생성을 학습하지 못했음을 시사한다.
• 실제 CIFAR-10 테스트 이미지의 NLL은 2.92 비트/차원이었지만, WGAN-GP가 생성한 이미지의 NLL는 6.52 비트/차원으로 더 낮아, 낮은 NLL와 인지적 품질 간 상관관계가 없음을 보여준다.
• AR 모델은 SVHN 이미지에 대해 실질적인 CIFAR-10 이미지보다 더 높은 로그우도(낮은 NLL)를 부여하여, 90.9%의 비율로 SVHN 이미지를 내재 분포로 분류한다.
• 모든 검은색 및 모든 흰색 이미지는 각각 0.008 및 0.16 비트/차원의 NLL 점수를 기록했는데, 이는 가장 낮은 점수들 중 하나로, AR 모델이 이러한 명백한 이상치를 탐지하지 못한다는 것을 시사한다.
• CCG 방법은 CIFAR-10 테스트 이미지의 92.3%를 내재 분포로 정확히 분류했지만, AR-2SD 및 AR-One-sided 구간은 각각 SVHN 이미지의 92.5%와 94.7%를 CIFAR-10로 잘못 분류했다.
• 생성자 출력 또는 사전 훈련된 생성자에 가우시안 블러를 적용한 후에도 ARCycle은 여전히 현실적인 이미지를 생성하지 못했으며, 이는 NLL 목표 함수에 기반한 최적화 문제의 근본적인 성격을 시사한다.