[논문 리뷰] Mutual Information Divergence: A Unified Metric for Multimodal Generative Models

Jin-Hwa Kim, Yunji Kim외 3명|arXiv (Cornell University)|2022. 05. 25.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 CLIP 특징을 기반으로 하며, 가우시안 가정 하에 음성 교차 상호정보량을 활용하여 다중모odal 생성 모델을 위한 통합된 메트릭인 상호정보 발산(MID)을 제안한다. MID는 인간 평가와의 상관관계 및 텍스트에서 이미지 생성 및 이미지 캡션 생성 벤치마크에서의 강건성 면에서 기존 메트릭을 크게 능가하며, FOIL 환영 탐지 및 Flickr8K-Expert를 포함한 여러 표준 평가 세트에서 최신 기준 성능을 달성한다.

ABSTRACT

Text-to-image generation and image captioning are recently emerged as a new experimental paradigm to assess machine intelligence. They predict continuous quantity accompanied by their sampling techniques in the generation, making evaluation complicated and intractable to get marginal distributions. Based on a recent trend that multimodal generative evaluations exploit a vison-and-language pre-trained model, we propose the negative Gaussian cross-mutual information using the CLIP features as a unified metric, coined by Mutual Information Divergence (MID). To validate, we extensively compare it with competing metrics using carefully-generated or human-annotated judgments in text-to-image generation and image captioning tasks. The proposed MID significantly outperforms the competitive methods by having consistency across benchmarks, sample parsimony, and robustness toward the exploited CLIP model. We look forward to seeing the underrepresented implications of the Gaussian cross-mutual information in multimodal representation learning and the future works based on this novel proposition.

연구 동기 및 목표

• 분포 발산의 비가역성과 샘플링 복잡성으로 인해 다중모달 생성 모델을 평가하는 데 도전하는 문제를 해결하기 위해.
• 단일이고 원리적인 메트릭을 사용하여 텍스트에서 이미지 생성과 이미지 캡션 생성 간의 평가를 통합하기 위해.
• 인간 평가와의 상관관계 향상 및 CLIP 모델의 변형에 대한 강건성 향상.
• 다중모달 표현 학습에서 상호정보 기반 평가에 대한 이론적 기반 제공.
• 다양한 벤치마크에서 샘플 효율적이고 일관된 평가를 가능하게 하기 위해.

제안 방법

• 다중변량 가우시안 가정 하에 음성 교차 상호정보량을 기반으로 한 통합 메트릭인 상호정보 발산(MID)을 제안하며, 시각적 및 텍스트적 CLIP 특징을 대상으로 한다.
• 이미지 및 텍스트 특징의 결합 분포를 다중변량 가우시안으로 모델링하고, 상호정보 계산을 위한 평균과 공분산을 추정한다.
• 음성 교차 상호정보를 발산 메트릭으로 사용하여 생성된 데이터 분포와 진짜 데이터 분포 간의 정렬도를 측정한다.
• CLIP 임bedding을 특징 표현의 기반으로 사용하여 제로샷 전이와 도메인 간 일관성을 달성한다.
• 이상치 탐지에 제곱 마할라노비스 거리를 적용하고, 이론적 분석을 위해 편향-분산 분해를 제공한다.
• MID를 칼리브-라이블러 발산과 연관지어 정보이론적 원리와의 이론적 연결을 확립한다.

실험 결과

연구 질문

• RQ1 상호정보 기반의 통합 메트릭이 텍스트에서 이미지 생성과 이미지 캡션 생성 양쪽 모두를 효과적으로 평가할 수 있는가?
• RQ2 다양한 벤치마크에서 인간 평가와의 상관관계 면에서 MID는 기존 메트릭보다 어떻게 비교되는가?
• RQ3 MID는 기저의 CLIP 모델 변형과 데이터 도메인에 대해 어느 정도 강건한가?
• RQ4 기준 기반 또는 n-gram 메트릭보다 MID가 환영과 분포 이탈을 더 신뢰성 있게 탐지할 수 있는가?
• RQ5 MID는 기존의 발산 측정법(예: KL 발산)과 이론적으로 어떤 관계가 있는가?

주요 결과

• FOIL 환영 탐지 벤치마크에서 MID는 하나의 기준으로 90.5% 정확도, 네 개의 기준으로도 90.5% 정확도를 기록하여 최신 기준 성능을 달성했다.
• Flickr8K-Expert 및 Flickr8K-CF 벤치마크에서 MID는 평균 85.2% 정확도를 기록하여 RefCLIP-S(83.1%)와 CLIP-S(80.7%)를 모두 능가했다.
• 인간 평가 상관관계 분석에서 MID는 CUB와 MM-CelebA-HQ를 포함한 다양한 데이터셋에서 뛰어난 일관성을 보였으며, 셔플링 실험에서도 안정적인 기울기를 유지했다.
• MID는 CLIP 모델의 변형에 대해 강건성을 유지하며, COCO, LN-COCO, CUB, MM-CelebA-HQ 등의 도메인에서 일관된 성능을 보였다.
• 이론적 분석을 통해 MID가 KL 발산과의 연결성을 확인했으며, 마할라노비스 거리를 통한 편향-분산 분해 및 이상치 탐지 기능도 가능했다.
• FOIL의 HI 서브셋에서 99.7%의 정확도를 기록하여 거의 완벽한 성능에 수렴했으며, 이 특정 분할에서 BERT-S++(98.1%)와 TIGEr(99.8%)를 모두 능가했다.