[論文レビュー] Finetune-Informed Pretraining Boosts Downstream Performance

Atik Faysal, Mohammad Rostami+3 more|arXiv (Cornell University)|Jan 27, 2026

Speech and dialogue systems被引用数 0

ひとこと要約

FIPはターゲットモダリティに対して非対称マスキング、損失ウェイト付け、デコーダ深度を用いてマルチモーダル事前学習を微調整時に使用されるモダリティに偏らせることで、追加データや監督なしに下流のAMC性能を向上させます。

ABSTRACT

Multimodal pretraining is effective for building general-purpose representations, but in many practical deployments, only one modality is heavily used during downstream fine-tuning. Standard pretraining strategies treat all modalities uniformly, which can lead to under-optimized representations for the modality that actually matters. We propose Finetune-Informed Pretraining (FIP), a model-agnostic method that biases representation learning toward a designated target modality needed at fine-tuning time. FIP combines higher masking difficulty, stronger loss weighting, and increased decoder capacity for the target modality, without modifying the shared encoder or requiring additional supervision. When applied to masked modeling on constellation diagrams for wireless signals, FIP consistently improves downstream fine-tuned performance with no extra data or compute. FIP is simple to implement, architecture-compatible, and broadly applicable across multimodal masked modeling pipelines.

研究の動機と目的

• 下流用途が一つのモダリティ（例：星座図）に焦点を当てる場合にモダリティ優先の事前学習の必要性を動機づける。
• Finetune-Informed Pretraining (FIP) を、表現をターゲットモダリティへ偏らせるモデル非依存の戦略として導入する。
• FIP を実現するために既存の DenoMAE フレームワークのアーキテクチャおよび目的関数を変更する。
• FIP が特に低SNR条件で追加データや監督なしに下流の AMC パフォーマンスを改善することを実証する。

提案手法

• ターゲットモダリティの p_target を他のモダリティより高く設定する非対称マスキングを適用する（p_target > p_other）。
• ターゲットモダリティには深いデコーダを使用する非対称デコーダを使用する（L_d,target > L_d,other）。
• 損失をターゲットモダリティ優先として w_target > w_other の重み付き再構成損失を採用する。
• エンコーダを共有のまま、デコーダをモダリティ特異的とする形で、DenoMAE 内の事前学習目的をターゲット中心の表現を生成するように修正する。
• constellation diagrams、scalograms、raw signals、noise をモダリティとするマルチモーダル無線信号データセットで FIP-DenoMAE を評価する。

Figure 1: Reconstruction performance of FIP-DenoMAE.

実験結果

リサーチクエスチョン

• RQ1 ファインチューニング時に一つのモダリティが主に使用される場合、finetune-informed pretraining は下流性能を改善できるか。
• RQ2 非対称マスキング、デコーダ深度、損失ウェイト付けは共同でエンコーダをターゲットモダリティ表現へ強く向かわせるか。
• RQ3 追加データや監督なしに、低SNR領域でFIPはAMCの頑健性を向上させるか。

主な発見

• FIP-DenoMAEはひどいマスキング下でも星座図を効果的にデノイズし、基準より信号構造を保持する。
• t-SNEの視覚化では、FIP-DenoMAE は DenoMAE よりもより明瞭なクラスクラスタと分離性を示す。
• FIP-DenoMAE はSNR全体で分類精度を向上させ、特に低SNR条件で有利（例：-10 dB で 69.2% 対 DenoMAE 68.4%、ViT 55.4%）となる。
• 追加データや監督なしで、マスキング、デコーダ深度、損失ウェイト調整だけで改善を達成している。
• このアプローチはマルチモーダル MAE フレームワーク下で、ターゲットモダリティ表現を強化しつつモ cross-modal の有用性を維持する。

(a) DenoMAE