[논문 리뷰] Finetune-Informed Pretraining Boosts Downstream Performance

Atik Faysal, Mohammad Rostami외 3명|arXiv (Cornell University)|2026. 01. 27.

Speech and dialogue systems인용 수 0

한 줄 요약

FIP는 비대칭 마스킹, 손실 가중치 및 디코더 깊이에 의해 미세조정에서 사용된 대상 모달리티를 향해 멀티모달 사전학습을 편향시켜, 추가 데이터나 감독 없이도 다운스트림 AMC 성능을 향상시킨다.

ABSTRACT

Multimodal pretraining is effective for building general-purpose representations, but in many practical deployments, only one modality is heavily used during downstream fine-tuning. Standard pretraining strategies treat all modalities uniformly, which can lead to under-optimized representations for the modality that actually matters. We propose Finetune-Informed Pretraining (FIP), a model-agnostic method that biases representation learning toward a designated target modality needed at fine-tuning time. FIP combines higher masking difficulty, stronger loss weighting, and increased decoder capacity for the target modality, without modifying the shared encoder or requiring additional supervision. When applied to masked modeling on constellation diagrams for wireless signals, FIP consistently improves downstream fine-tuned performance with no extra data or compute. FIP is simple to implement, architecture-compatible, and broadly applicable across multimodal masked modeling pipelines.

연구 동기 및 목표

• 다운스트림 사용이 하나의 모달리티에 초점을 둘 때(예: constellation diagrams) 모달리티 우선 사전학습의 필요성을 제시한다.
• 대상 모달리티로 표현을 편향시키기 위한 모델-에이그노스틱 전략으로 Finetune-Informed Pretraining (FIP)을 도입한다.
• FIP를 구현하기 위한 기존 DenoMAE 프레임워크의 구조적 변경과 목표함수의 변화를 기술한다.
• 추가 데이터나 감독 없이도 FIP가 다운스트림 AMC 성능을 개선함을 보여주며, 특히 저신호 대 잡음비에서 그렇다.

제안 방법

• 대상 모달리티에 대해 p_target를 더 크게, 다른 모달리티에 대해 p_other를 더 작게 설정한 비대칭 마스킹을 적용한다 (p_target > p_other).
• 대상 모달리티에 더 깊은 디코더를 갖는 비대칭 디코더를 사용한다 (L_d,target > L_d,other).
• 손실에서 대상 모달리티를 우선시하기 위해 w_target > w_other인 가중 재구성 손실을 채택한다.
• 인코더를 공유하고 디코더를 모듈별로 두되 대상 모달리티에 초점을 맞춘 표현을 생성하도록 DenoMAE의 사전학습 목표를 수정한다.
• constellation diagrams, scalograms, raw signals, and noise를 모달리티로 갖는 다중모달 무선 신호 데이터셋에서 FIP-DenoMAE를 평가한다.

Figure 1: Reconstruction performance of FIP-DenoMAE.

실험 결과

연구 질문

• RQ1 다운스트림에서 하나의 모달리티가 미세조정에서 주로 사용될 때, finetune-informed pretraining이 성능 향상을 가져올 수 있는가?
• RQ2 비대칭 마스킹, 디코더 깊이, 손실 가중치가 함께 인코더를 더 강한 대상 모달리티 표현으로 이끄는가?
• RQ3 추가 데이터나 감독 없이 FIP가 Automatic Modulation Classification (AMC)의 저신호 대 잡음비 환경에서 강인성을 향상시키는가?

주요 결과

• FIP-DenoMAE는 심한 마스킹 하에서 constellation diagrams를 효과적으로 노이즈 제거하고 baselines보다 신호 구조를 더 잘 보존한다.
• t-SNE 시각화는 FIP-DenoMAE가 DenoMAE보다 더 뚜렷한 클래스 클러스터와 더 나은 구분성을 보인다.
• FIP-DenoMAE는 SNR 전반에 걸쳐 더 높은 분류 정확도를 달성하며, 특히 저신호 대 잡음비에서 두드러진 이점을 보인다(예: -10 dB에서 69.2% 대 DenoMAE의 68.4%, ViT의 55.4%).
• 추가 데이터나 감독 없이도 마스킹, 디코더 깊이, 손실 가중치 조정에 의존하여 개선이 이뤄졌다.
• 이 방법은 다중모달 MAE 프레임워크에서 대상 모달리티 표현을 강화하면서 교차 모달 유용성을 유지한다.

(a) DenoMAE