[논문 리뷰] Enhancing Diffusion-Based Image Synthesis with Robust Classifier Guidance

Bahjat Kawar, Roy Ganz외 1명|arXiv (Cornell University)|2022. 08. 18.

Generative Adversarial Networks and Image Synthesis인용 수 10

한 줄 요약

이 논문은 표준 비저항성 분류기를 대체하여 적대적 공격에 강건하고 시간에 따라 변하는 분류기를 사용하여 확산 기반 이미지 합성을 지도하는 방법을 제안한다. 인간의 시각 인지와 일치하는 기울기를 갖는 강건한 분류기를 훈련시킴으로써, ImageNet에서 더 의미 있는 의미론적이고 시각적으로 일관된 이미지를 유의미하게 생성하며, FID, 사용자 선호도 및 기울기 해석 가능성 측면에서 기준선 분류기 지도보다 뛰어난 성능을 보인다.

ABSTRACT

Denoising diffusion probabilistic models (DDPMs) are a recent family of generative models that achieve state-of-the-art results. In order to obtain class-conditional generation, it was suggested to guide the diffusion process by gradients from a time-dependent classifier. While the idea is theoretically sound, deep learning-based classifiers are infamously susceptible to gradient-based adversarial attacks. Therefore, while traditional classifiers may achieve good accuracy scores, their gradients are possibly unreliable and might hinder the improvement of the generation results. Recent work discovered that adversarially robust classifiers exhibit gradients that are aligned with human perception, and these could better guide a generative process towards semantically meaningful images. We utilize this observation by defining and training a time-dependent adversarially robust classifier and use it as guidance for a generative diffusion model. In experiments on the highly challenging and diverse ImageNet dataset, our scheme introduces significantly more intelligible intermediate gradients, better alignment with theoretical findings, as well as improved generation results under several evaluation metrics. Furthermore, we conduct an opinion survey whose findings indicate that human raters prefer our method's results.

연구 동기 및 목표

• 비저항성 분류기가 확산 모델을 지도할 때 기울기가 신뢰할 수 없고 해석하기 어려운 문제를 해결하기 위해.
• 적대적 공격에 강건한 분류기는 인간의 인지와 일치하는 기울기를 갖는 것으로 알려져 있으므로, 이러한 분류기가 분류기 지도 기반 이미지 합성에 어떻게 향상시킬 수 있는지 조사하기 위해.
• 고해상도, 클래스 조건부 확산 모델과 호환되는 시간에 따라 변하는 강건한 분류기 훈련 방식을 개발하기 위해.
• 강건한 분류기 지도가 표준 분류기 지도보다 더 뛰어난 이미지 품질과 더 의미 있는 중간 기울기를 제공함을 입증하기 위해.
• 자동화된 지표와 인간 평가를 모두 활용하여 도전적인 ImageNet 데이터셋에서 방법을 검증하기 위해.

제안 방법

• 현재 확산 단계를 입력으로 받는 시간에 따라 변하는 분류기를 훈련시켜 노이즈 제거 과정 전반에 걸쳐 동적 지도를 가능하게 한다.
• 기울기 기반 공격에 대한 강건성을 향상시키기 위해 분류기에 적대적 훈련을 적용함으로써 기울기가 의미론적 내용을 반영하도록 보장한다.
• 강건한 분류기의 기울기를 사용하여 확산 모델의 역노이즈 과정을 지도하며, 표준 비저항성 분류기 지도를 대체한다.
• 강건한 분류기 지도를 클래스 조건부 확산 모델에 통합하여 모듈성을 유지하고 다중 클래스 생성을 가능하게 한다.
• 확산 모델과 별도로 분류기를 훈련시어 고해상도 및 다양한 데이터셋으로의 확장성을 보장한다.
• 이중 단계 훈련 프로토콜을 활용: 먼저 확산 모델을 훈련한 후, 그 모델을 지도하기 위해 강건한 분류기를 별도로 훈련시켜 호환성과 성능을 확보한다.

실험 결과

연구 질문

• RQ1 확산 기반 이미지 생성의 맥락에서, 적대적 공격에 강건한 분류기가 표준 분류기보다 더 시각적으로 일치하는 기울기를 생성할 수 있는가?
• RQ2 강건한 분류기 지도를 사용하면 ImageNet과 같은 고해상도 및 다양한 데이터셋에서 생성된 이미지의 품질과 일관성에 향상이 이루어지는가?
• RQ3 강건한 분류기에서 유도된 중간 기울기는 비저항성 분류기의 기울기와 비교해 해석 가능성과 의미론적 관련성 측면에서 어떻게 다른가?
• RQ4 자동화된 지표(예: FID)와 인간 평가 모두에서 강건한 분류기 지도가 기준선 분류기 지도를 능가할 수 있는가?
• RQ5 제안된 방법은 다중 클래스 생성 및 기타 확산 기반 아키텍처로의 확장성과 모듈성이 있는가?

주요 결과

• 제안된 강건한 분류기 지도로 인해 ImageNet에서 FID 점수가 유의미하게 향상되어 더 높은 이미지 정확도와 다양성을 입증하였다.
• 인간 평가자 설문 조사 결과, 표준 분류기 지도보다 강건한 분류기 지도로 생성된 이미지가 더 선호됨을 확인하였다.
• 강건한 분류기에서 유도된 중간 기울기는 더 강한 의미론적 일치를 보이며, 더 명확하게 해석 가능한 의미 있는 이미지 특징을 반영한다.
• 기본적인 분류기 지도에서 발생하는 주요 문제들, 특히 초기 노이즈 제거 단계에서의 노이즈가 많고 정보가 없는 기울기 문제를 해결하였다.
• 강건한 분류기의 기울기는 시간에 따라 더 안정적이고 일관되게 유지되며, 스코어 기반 생성의 이론적 기대와 더 잘 일치한다.
• 기본 확산 모델을 재훈련하지 않고도 효과적인 다중 클래스 생성이 가능해져 모듈성과 유연성을 향상시켰다.