[논문 리뷰] Interpretable Diffusion via Information Decomposition

Xianghao Kong, Ollie Liu외 3명|arXiv (Cornell University)|2023. 10. 12.

Model Reduction and Neural NetworksPhysics and Astronomy인용 수 3

한 줄 요약

이 논문은 텍스트와 이미지 간의 정보 흐름을 미세하게 해석 가능한 방식으로 분해할 수 있도록 정보 이론적 프레임워크를 제안한다. 노이즈 제거 확산 모델을 활용하여 상호정보량과 조건부 상호정보량(CMI)의 정확한 표현식을 유도함으로써, 픽셀 및 단어 수준에서의 정밀한 해석 가능성을 실현한다. 이는 프롬프트 간섭의 영향을 탐지하거나 조합적 이해 수준을 측정하는 데 있어 어텐션 메커니즘을 능가한다.

ABSTRACT

Denoising diffusion models enable conditional generation and density modeling of complex relationships like images and text. However, the nature of the learned relationships is opaque making it difficult to understand precisely what relationships between words and parts of an image are captured, or to predict the effect of an intervention. We illuminate the fine-grained relationships learned by diffusion models by noticing a precise relationship between diffusion and information decomposition. Exact expressions for mutual information and conditional mutual information can be written in terms of the denoising model. Furthermore, pointwise estimates can be easily estimated as well, allowing us to ask questions about the relationships between specific images and captions. Decomposing information even further to understand which variables in a high-dimensional space carry information is a long-standing problem. For diffusion models, we show that a natural non-negative decomposition of mutual information emerges, allowing us to quantify informative relationships between words and pixels in an image. We exploit these new relations to measure the compositional understanding of diffusion models, to do unsupervised localization of objects in images, and to measure effects when selectively editing images through prompt interventions.

연구 동기 및 목표

• 확산 모델에서 학습된 이미지-텍스트 관계가 정확히 어떤 것인지 명확하지 않다는 문제를 해결하기 위해.
• 아키텍처 접근 권한이 없어도 픽셀 및 단어 수준에서 미세한 정보 흐름을 정량화할 수 있는 방법을 개발하기 위해.
• 어텐션 기반 해석 가능성의 대안으로 블랙박스 API와 호환되며, 프롬프트 간섭의 진정한 영향을 더 잘 포착하는 방법을 제공하기 위해.
• 정보 이론적 지표를 사용하여 확산 모델의 조합적 이해 능력을 평가하고 향상시키기 위해.
• 감독 없이도 추상적 어휘(예: 형용사, 동사)를 이미지에서 자동으로 국소화할 수 있도록 정보 분해를 활용하기 위해.

제안 방법

• 확산 과정에서 최적의 노이즈 제거 모델을 이용해 상호정보량(MI)과 조건부 상호정보량(CMI)의 정확한 표현식을 유도한다.
• 가우스 노이즈 하에서 최소 평균 제곱 오차(MMSE) 노이즈 제거 성질을 활용하여 정보량을 직접 노이즈 제거기의 출력에서 표현한다.
• 픽셀 및 단어 수준에서 MI 및 CMI의 점별 추정치를 계산함으로써, 샘플 및 변수 수준의 해석 가능성을 실현한다.
• 이 프레임워크는 CMI가 실제 출력 변화를 반영하는 바, 어텐션 맵과는 달리 프롬프트 간섭 분석에 적용된다.
• 이 방법은 아키텍처에 관계없이 적용 가능하므로, 어텐션 기반 방법이 모델 접근 권한이 필요한 것과는 달리 블랙박스 API와도 호환된다.
• 정보 분해를 통해 감독 없이도 조합적 이해를 정량화하고 이미지 내 의미적 개념을 국소화한다.

실험 결과

연구 질문

• RQ1 확산 모델에서 특정 단어와 이미지 픽셀 간의 미세한 관계를 어떻게 해석할 수 있는가?
• RQ2 어떤 정도로 조건부 상호정보량(CMI)이 어텐션 메커니즘보다 프롬프트 간섭의 진정한 영향을 더 잘 반영하는가?
• RQ3 정보 이론적 측정치를 사용하여 텍스트-이미지 확산 모델의 조합적 일반화 능력을 평가할 수 있는가?
• RQ4 정보 분해와 어텐션은 이미지에서 추상적 언어적 표현(예: 부사, 형용사)을 국소화하는 데 어떻게 비교되는가?
• RQ5 CMI 추정치는 확산 모델의 회로나 기능적 구성 요소를 신뢰할 수 있는 지표로 활용할 수 있는가?

주요 결과

• 제안된 방법은 노이즈 제거 모델에서 직접 상호정보량과 조건부 상호정보량을 정확하고 계산 가능한 방식으로 계산할 수 있으며, 이는 확산 모델에 대한 원칙적인 정보 이론적 해석을 제공한다.
• CMI 추정치는 프롬프트 간섭이 생성된 이미지에 영향을 주지 않을 경우 이를 정확히 식별하지만, 어텐션 맵은 이를 반영하지 못함으로써 CMI가 종속성 측정치로서의 우월성을 입증한다.
• ARO 벤치마크에서, 확산 모델은 대조적 VLM 백본에 비해 조합적 이해 능력이 향상되었지만, 조합 인식에 특화된 음성 예제로 미리 훈련된 모델에 비해 여전히 뒤처진다.
• 정보 분해를 통해 감독 없이도 어휘의 맥락적 의존성에 민감한 특성 덕분에, 어텐션보다 추상적 어휘(예: 형용사, 동사)를 더 효과적으로 국소화할 수 있다.
• 프롬프트 간섭 중 상호정보량의 일관되지 않은 변화가 관찰되어, 데이터셋의 특수성 또는 모델의 입력 맥락에 대한 민감성이 드러나며, 이는 향후 연구의 방향성을 제시한다.
• 이 프레임워크는 정보 변수를 식별하는 것이 핵심적인 생물의학 모델링 및 단백질 설계와 같은 고위험 분야에 적용 가능하며, 이는 유연성과 적용 가능성을 보여준다.