[논문 리뷰] Scaling Multimodal Pre-Training via Cross-Modality Gradient Harmonization

Junru Wu, Yi Liang외 4명|arXiv (Cornell University)|2022. 11. 03.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 대규모 데이터셋에서 약한 교차모odal 정렬(CMA)에 의한 노이즈가 많은 지도 학습을 완화함으로써 다중모달 사전학습을 향상시키기 위해 교차모달 기울기 조율 기법을 제안한다. 기울기 재정렬과 기울기 기반 커리큘럼 학습을 도입하여 손실 기울기의 방향을 정렬하고, 덜 노이즈가 많은 샘플을 우선순위로 지정함으로써 다운스트림 작업에서 성능을 크게 향상시키며, 유튜브8M와 같은 노이즈가 많은 비내용적 데이터셋으로도 효과적으로 확장 가능하게 하여 새로운 최고 성능 기록을 달성한다.

ABSTRACT

Self-supervised pre-training recently demonstrates success on large-scale multimodal data, and state-of-the-art contrastive learning methods often enforce the feature consistency from cross-modality inputs, such as video/audio or video/text pairs. Despite its convenience to formulate and leverage in practice, such cross-modality alignment (CMA) is only a weak and noisy supervision, since two modalities can be semantically misaligned even they are temporally aligned. For example, even in the commonly adopted instructional videos, a speaker can sometimes refer to something that is not visually present in the current frame; and the semantic misalignment would only be more unpredictable for the raw videos from the internet. We conjecture that might cause conflicts and biases among modalities, and may hence prohibit CMA from scaling up to training with larger and more heterogeneous data. This paper first verifies our conjecture by observing that, even in the latest VATT pre-training using only instructional videos, there exist strong gradient conflicts between different CMA losses within the same video, audio, text triplet, indicating them as the noisy source of supervision. We then propose to harmonize such gradients, via two techniques: (i) cross-modality gradient realignment: modifying different CMA loss gradients for each sample triplet, so that their gradient directions are more aligned; and (ii) gradient-based curriculum learning: leveraging the gradient conflict information on an indicator of sample noisiness, to develop a curriculum learning strategy to prioritize training on less noisy sample triplets. Applying those techniques to pre-training VATT on the HowTo100M dataset, we consistently improve its performance on different downstream tasks. Moreover, we are able to scale VATT pre-training to more complicated non-narrative Youtube8M dataset to further improve the state-of-the-arts.

연구 동기 및 목표

• 노이즈가 많은 교차모달 정렬(CMA)이 실제 세계의 다중모달 사전학습에 미치는 영향, 특히 정제되지 않은 비내용적 데이터셋에서의 영향을 조사한다.
• CMA 손실 간의 충돌하는 기울기가 불안정한 학습과 모odal별 과적합의 주요 원인임을 규명한다.
• 학습 안정성과 다양한 다운스트림 작업에서의 성능 향상을 향상시키는 기울기 조율 기법을 제안한다.
• 아키텍처 변경 없이도 YouTube8M와 같은 더 이질적이고 노이즈가 많은 데이터셋으로 다중모달 사전학습을 효과적으로 확장할 수 있도록 한다.

제안 방법

• 동일한 샘플 트리플릿 내에서 서로 다른 CMA 손실(예: 비디오-텍스트 및 비디오-오디오)의 기울기 방향을 정렬하기 위해 교차모달 기울기 재정렬을 도입한다.
• 기울기 재정렬을 기울기 벡터 간의 각도를 최소화하는 가속 가능한 변환으로 공식화하며, 갈등을 줄이기 위해 투영 기반 방법을 사용한다.
• 기울기 갈등의 크기를 샘플의 노이즈 수준을 나타내는 지표로 사용하여 더 깨끗한 샘플을 우선순위로 학습하는 기울기 기반 커리큘럼 학습을 제안한다.
• 모달에 종속되지 않는 VATT 프레임워크에 두 기법을 플러그 앤 플레이 방식으로 적용하며, 백본 아키텍처를 수정하지 않는다.
• 기울기 벡터 간의 코사인 유사도를 갈등 측정 지표로 사용하며, 각도가 임계값을 초과할 경우에만 기울기 재정렬을 수행한다.
• 실시간 기울기 갈등 점수를 기반으로 동적으로 샘플링 전략을 조정하는 커리큘럼 스케줄을 사용하여 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 실제 세계의 데이터셋에서 교차모달 대비 손실 간의 충돌하는 기울기가 다중모달 사전학습에 얼마나 심각한 영향을 미치는가?
• RQ2 기울기 재정렬이 CMA 손실 간의 갈등을 줄이고, 모달에 종속되지 않는 환경에서 표현 학습을 향상시킬 수 있는가?
• RQ3 기울기 갈등이 다중모달 사전학습에서 커리큘럼 학습의 샘플 노이즈 수준을 신뢰할 만한 지표로 사용할 수 있는가?
• RQ4 기울기 조율이 유튜브8M와 같은 노이즈가 많고 비내용적인 데이터셋에서 효과적인 사전학습을 가능하게 하는가?
• RQ5 기울기 조율은 모달별 및 교차모달 다운스트림 성능에 어떤 영향을 미치는가?

주요 결과

• HowTo100M에서 VATT 사전학습에 기울기 재정렬과 커리큘럼 학습을 적용함으로써, 비디오 행동 분류, 텍스트-비디오 검색, 오디오 분류 등 모든 다운스트림 작업에서 성능 향상이 뚜렷하게 관찰되었다.
• UCF101에서 모델은 Top-1 정확도 89.70%를 기록하여 모달에 종속되지 않는 설정에서 새로운 최고 성능 기록을 달성했다.
• HMDB51에서는 Top-5 정확도 92.15%를 달성했으며, Kinetics400에서는 Top-1 정확도 80.01%를 기록하여 강력한 일반화 능력을 입증했다.
• ESC50에서는 Top-1 정확도 85.00%를 기록하여, 노이즈가 많은 지도 학습에도 불구하고 오디오 분류에서 개선된 강건성을 보였다.
• 특징 시각화 결과 기울기 조율이 비디오와 텍스트 표현 간의 분리도를 향상시켜 모델의 판별 능력을 강화함을 확인했다.
• 이 방법은 VATT 사전학습을 YouTube8M로 성공적으로 확장시켰으며, 데이터 노이즈로 인한 성능 저하를 기존 기준 모델과는 달리 극복했다.