[논문 리뷰] CTP: Towards Vision-Language Continual Pretraining via Compatible Momentum Contrast and Topology Preservation

Hongguang Zhu, Yunchao Wei외 3명|arXiv (Cornell University)|2023. 08. 14.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 시각-언어 지속적 사전학습(VLCP)을 위한 새로운 방법인 CTP를 제안한다. CTP는 호환성 있는 모멘텀 대비와 위상 보존을 결합하여 지속적으로 확장되는 시각-언어 데이터에서 효율적이고 안정적이며 정확한 지속적 학습을 가능하게 한다. CTP는 P9D 벤치마크에서 50.53% TR@1과 70.63% Rm의 최고 성능을 기록하여 이전 방법들보다 최대 5.76% 높은 성능을 내며 메모리 오버헤드 없이도 성능을 유지한다.

ABSTRACT

Vision-Language Pretraining (VLP) has shown impressive results on diverse downstream tasks by offline training on large-scale datasets. Regarding the growing nature of real-world data, such an offline training paradigm on ever-expanding data is unsustainable, because models lack the continual learning ability to accumulate knowledge constantly. However, most continual learning studies are limited to uni-modal classification and existing multi-modal datasets cannot simulate continual non-stationary data stream scenarios. To support the study of Vision-Language Continual Pretraining (VLCP), we first contribute a comprehensive and unified benchmark dataset P9D which contains over one million product image-text pairs from 9 industries. The data from each industry as an independent task supports continual learning and conforms to the real-world long-tail nature to simulate pretraining on web data. We comprehensively study the characteristics and challenges of VLCP, and propose a new algorithm: Compatible momentum contrast with Topology Preservation, dubbed CTP. The compatible momentum model absorbs the knowledge of the current and previous-task models to flexibly update the modal feature. Moreover, Topology Preservation transfers the knowledge of embedding across tasks while preserving the flexibility of feature adjustment. The experimental results demonstrate our method not only achieves superior performance compared with other baselines but also does not bring an expensive training burden. Dataset and codes are available at https://github.com/KevinLight831/CTP.

연구 동기 및 목표

• 시각-언어 모델을 위한 대규모이고 현실적인 지속적 사전학습 데이터셋의 부족을 해결하기 위해.
• 고정 차원 임베딩과 대비 샘플 누락과 같은 새로운 과제들을 식별하고 분석하기 위해.
• 기억 상실 없이 안정적인 지식 축적을 가능하게 하는 메모리 효율적이고 고성능의 방법을 제안하기 위해.
• 9개 산업에서 온 100만 개 이상의 이미지-텍스트 쌍을 포함한 통합 벤치마크인 P9D를 구축하여 실제 세계의 장수형, 비정규 분포, 비정상적인 데이터 스트림을 시뮬레이션하기 위해.

제안 방법

• 현재 및 이전 작업 모델의 지식을 융합하여 모멘텀 인코더를 동적으로 업데이트하는 호환성 있는 모멘텀 대비(CMC) 모듈을 도입한다.
• 샘플 간의 관계를 유지함으로써 임베딩 공간의 구조적 조직을 보존하는 위상 보존을 적용한다.
• 현재 작업의 부정 샘플을 저장하기 위해 모멘텀 큐를 사용하여 학습을 안정화하고 기억 상실을 줄인다.
• 최대 유사성 간섭으로 인한 성능 저하를 방지하기 위해 동일 모odal 유사성에 소프트 제약을 적용한다.
• 유연성과 안정성을 균형 잡는 통합 손실을 통해 이미지, 텍스트, 다중 모odal 인코더를 함께 최적화한다.
• 이전 데이터를 저장하지 않고도 지속적 사전학습을 가능하게 하여 메모리 효율성을 확보하면서도 높은 성능 유지를 달성한다.

실험 결과

연구 질문

• RQ1 기억 상실 없이 지속적으로 도착하는 데이터에 대해 시각-언어 모델을 효과적이고 효율적으로 미세조정할 수 있는 방법은 무엇인가?
• RQ2 기존의 클래스 증분 학습과 비교했을 때 시각-언어 지속적 사전학습에서 고유한 과제는 무엇인가?
• RQ3 메모리 없는 방법이 VLCP에서 메모리 버퍼 기반 방법과 비슷한 성능을 달성할 수 있는가?
• RQ4 호환성 있는 모멘텀 대비와 위상 보존이 함께 어떻게 지속적 시각-언어 학습의 안정성과 정확도를 향상시키는가?
• RQ5 제안된 P9D 벤치마크는 실제 세계의 데이터 분포와 장수형 특성을 얼마나 잘 반영하고 있는가?

주요 결과

• CTP는 경험 재생과 함께 사용했을 때 P9D 벤치마크에서 50.53% TR@1과 70.63% Rm을 기록하여 가장 강력한 베이스라인보다 최대 5.76% 높은 성능을 달성한다.
• 제거 실험 결과, 호환성 있는 모멘텀 대비와 위상 보존이 모두 필수적임을 확인하였으며, 위상 보존은 Rm에서 5.64% 향상 기여했다.
• 두 구성 요소를 함께 사용했을 때 mAP@1이 0.57% 향상되고 Rm이 1.88% 향상되어 상호 보완적 이점을 입증한다.
• 모멘텀 큐가 성능을 약간 향상시키며, 학습을 부드럽게 하고 기억 상실을 줄이는 데 기여함을 시사한다.
• 동일 모달 최대 유사성 억제가 필수적임을 입증한다. 이 요소를 생략할 경우 성능 저하가 발생함으로써 정확한 유사성 학습 유지의 중요성을 강조한다.
• 이전 데이터를 저장하지 않음에도 불구하고 CTP는 뛰어난 성능을 달성하여, 메모리 버퍼 기반 방법 대비 메모리 효율성과 확장성의 우수성을 입증한다.