[논문 리뷰] ASIF: Coupled Data Turns Unimodal Models to Multimodal Without Training

Antonio Norelli, Marco Fumero외 4명|arXiv (Cornell University)|2022. 10. 04.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

ASIF는 사전 훈련된 단모달 인코더(이미지 및 텍스트)와 소량의 이미지-텍스트 쌍을 사용하여, 어떤 훈련 없이도 다중모달 모델을 생성하는 비모수적 방법을 제안한다. 입력을 참조 쌍에 대한 유사도로 표현함으로써, ASIF는 250배 적은 데이터로 CLIP 및 LiT와 유사한 제로샷 분류 성능를 달성하면서도 즉각적인 모델 업데이트와 완전히 해석 가능한 표현을 가능하게 한다.

ABSTRACT

CLIP proved that aligning visual and language spaces is key to solving many vision tasks without explicit training, but required to train image and text encoders from scratch on a huge dataset. LiT improved this by only training the text encoder and using a pre-trained vision network. In this paper, we show that a common space can be created without any training at all, using single-domain encoders (trained with or without supervision) and a much smaller amount of image-text pairs. Furthermore, our model has unique properties. Most notably, deploying a new version with updated training samples can be done in a matter of seconds. Additionally, the representations in the common space are easily interpretable as every dimension corresponds to the similarity of the input to a unique image-text pair in the multimodal dataset. Experiments on standard zero-shot visual benchmarks demonstrate the typical transfer ability of image-text models. Overall, our method represents a simple yet surprisingly strong baseline for foundation multimodal models, raising important questions on their data efficiency and on the role of retrieval in machine learning.

연구 동기 및 목표

• 다중모달 데이터에 대한 미세조정이나 훈련 없이도 다중모달 정렬을 가능하게 하는 방법을 개발하는 것.
• 새로운 이미지-텍스트 쌍을 추가하거나 제거함으로써 즉각적인 업데이트가 가능한 모델을 만드는 것.
• 각 차원이 특정 훈련 쌍과의 유사도에 해당하는 해석 가능한 표현을 생성하는 것.
• 파rameter 기반의 분산 기법 대신 검색 유사성 기반 메커니즘을 활용함으로써 기초 모델의 데이터 효율성을 크게 향상시킬 수 있는지 조사하는 것.
• 학습이 가중치 업데이트를 통해 이루어져야 한다는 가정을 도전하며, 기억 기반 정렬이 강력한 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• ASIF는 어떤 미세조정 없이도 사전 훈련된 고정된 단모달 인코더(이미지 및 텍스트)를 사용한다.
• 각 이미지-텍스트 쌍을 고정된 차원의 벡터로 인코딩하여 공통 임베딩 공간을 구성하고, 쌍화된 임베딩의 데이터베이스를 형성한다.
• 입력 이미지 또는 텍스트는 데이터셋에 저장된 모든 이미지-텍스트 쌍과의 유사도 벡터로 표현된다.
• 결과로 얻어진 표현은 각 차원이 특정 참조 쌍과의 유사도에 해당하는 비모수적이고 검색 유사성 기반의 공유 공간에 투영된 것으로, 각 차원이 특정 기준 쌍과의 유사도를 나타낸다.
• 모델 업데이트는 새로운 쌍 또는 오래된 쌍의 임베딩을 추가하거나 제거하기만 하면 되므로, 몇 초 내로 배포가 가능하다.
• 이 방법은 의미적으로 유사한 이미지들은 유사한 캡션을 가지므로, 쌍화된 예제와의 유사도가 다중모달 정렬을 포괄한다는 직관에 기반한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 단모달 인코더와 소량의 이미지-텍스트 쌍만을 사용하여, 어떤 훈련 없이도 다중모달 모델을 구축할 수 있는가?
• RQ2 비모수적이고 기억 기반 접근 방식이 CLIP 및 LiT와 같은 종단간 훈련 모델의 성능을 어느 정도 충족할 수 있는가?
• RQ3 학습된 파라미터 대신 검색 기반 메커니즘을 사용할 경우, 표현의 해석 가능성과 편집 가능성은 어떻게 비교되는가?
• RQ4 학습이 파라미터 업데이트가 아닌 쌍화된 임베딩의 기억에 의해 대체될 경우, 데이터 규모가 성능에 어떤 영향을 미치는가?
• RQ5 파라미터 조정이 없는 것이 실제로 모델의 투명성과 제어 가능성에 더 좋게 작용하는가?

주요 결과

• ASIF는 160만 개의 이미지-텍스트 쌍만을 사용함에도 불구하고, 표준 벤치마크에서 CLIP 및 LiT와 유사한 제로샷 이미지 분류 정확도를 달성하여, 이전 방법들보다 최대 250배 적은 데이터를 사용한다.
• 새로운 데이터로 모델을 업데이트하는 데 몇 초 내로 완료되며, 이는 새로운 쌍을 인코딩하고 임베딩 데이터베이스에 추가하기만 하면 된다.
• 결과로 얻어진 표현의 각 차원은 입력이 특정 훈련 이미지-텍스트 쌍과의 유사도에 직접적으로 대응하므로, 표현이 매우 해석 가능하다.
• 이 방법은 파rameter 업데이트 없이도 효과적인 다중모달 정렬을 달성할 수 있음을 보여주며, 강력한 성능을 내기 위해 종단간 훈련이 반드시 필요하다는 가정을 도전한다.
• ASIF의 성능는 다중모달 데이터셋의 품질과 커버리지에 크게 의존하며, 이는 의미 정렬이 데이터 분포에 민감함을 시사한다.
• 간단한 구조임에도 불구하고, ASIF는 이전의 비모수 기반 기준 모델을 초월하며, 데이터 효율성과 편집 가능성이 뛰어난 강력한 대안을 제공한다.