[論文レビュー] Unimodal Training-Multimodal Prediction: Cross-modal Federated Learning with Hierarchical Aggregation

Rongyu Zhang, Xiaowei Chi+4 more|arXiv (Cornell University)|Mar 27, 2023

Traffic Prediction and Management Techniques被引用数 5

ひとこと要約

本稿では、訓練時のクライアントが単一モダリティのデータのみを用いてもマルチモーダル予測を可能にする階層的アグリゲーションフレームワークであるHA-Fedformerを提案する。不確実性を考慮したエンコーダーのアグリゲーションとクロスモダリティのデコーダー整合性を組み合わせることで、CMU-MOSIおよびCMU-MOSEIベンチマークでSOTA手法を15–20%上回る性能を達成する。

ABSTRACT

Multimodal learning has seen great success mining data features from multiple modalities with remarkable model performance improvement. Meanwhile, federated learning (FL) addresses the data sharing problem, enabling privacy-preserved collaborative training to provide sufficient precious data. Great potential, therefore, arises with the confluence of them, known as multimodal federated learning. However, limitation lies in the predominant approaches as they often assume that each local dataset records samples from all modalities. In this paper, we aim to bridge this gap by proposing an Unimodal Training - Multimodal Prediction (UTMP) framework under the context of multimodal federated learning. We design HA-Fedformer, a novel transformer-based model that empowers unimodal training with only a unimodal dataset at the client and multimodal testing by aggregating multiple clients' knowledge for better accuracy. The key advantages are twofold. Firstly, to alleviate the impact of data non-IID, we develop an uncertainty-aware aggregation method for the local encoders with layer-wise Markov Chain Monte Carlo sampling. Secondly, to overcome the challenge of unaligned language sequence, we implement a cross-modal decoder aggregation to capture the hidden signal correlation between decoders trained by data from different modalities. Our experiments on popular sentiment analysis benchmarks, CMU-MOSI and CMU-MOSEI, demonstrate that HA-Fedformer significantly outperforms state-of-the-art multimodal models under the UTMP federated learning frameworks, with 15%-20% improvement on most attributes.

研究の動機と目的

• 既存のマルチモーダルフェデレーテッドラーニング手法が全クライアントに複数のモダリティへのアクセスを必要としているという制限を解決すること。
• クライアントが単一モダリティのデータ（例：テキスト、音声、動画）のみを保有する状況でも、効果的なマルチモーダルモデルの訓練を可能にし、データのプライバシーを保護すること。
• 単一モダリティの学習設定におけるデータの非IID分布およびモダリティシーケンスの非整合性という課題を克服すること。
• 直接的なデータ共有なしに単一モダリティモデルからの知識を統合する新しいアグリゲーション戦略の開発

提案手法

• クライアントが単一モダリティデータで学習するが、グローバルモデルがマルチモーダル推論を可能にする「単一モダリティ学習－マルチモーダル予測（UTMP）」フレームワークを提案する。
• モダリティ固有のエンコーダーと共有されるクロスモダリティデコーダーを備えた、トランスフォーマーに基づくモデルHA-Fedformerを導入する。
• 層ごとのマルコフ連鎖モンテカルロサンプリングを用いて不確実性を推定し、データの非IID効果を軽減するための「事後分布に基づくエンコーダー統合（PbEA）」を採用する。
• 異なるモダリティで学習されたデコーダーを、モデル重み内の隠れ信号相関を捉えることで整合化する「クロスモダリティデコーダー統合（CmDA）」を設計する。
• 階層的アグリゲーションを採用：エンコーダーにはPbEA、デコーダーにはCmDAを適用し、単一モダリティクライアント間での強固な知識蒸留を実現する。
• 収束監視には検証損失を、妥当性評価には統計的有意性検定（ウィルコクソン符号順位検定）を用いる。

実験結果

リサーチクエスチョン

• RQ1 クライアントが単一モダリティデータのみを提供する状況でも、フェデレーテッドラーニングで効果的なマルチモーダルモデルを訓練できるか？
• RQ2 単一モダリティデータ（例：テキスト）で単純な表現を用いて学習する場合、データの非IID問題はどのように軽減できるか？
• RQ3 異なるモダリティで学習されたデコーダー間の隠れ信号相関を活用することで、特徴レベルの整合性なしに非整合なシーケンスを統合できるか？
• RQ4 UTMP設定において、標準的なフェデレーテッドアベーリージングと比較して、エンコーダーとデコーダーの階層的アグリゲーションが顕著な性能向上をもたらすか？

主な発見

• HA-Fedformerは、CMU-MOSEIで相関係数（Corr）0.625、CMU-MOSIで0.54を達成し、ベースライン手法を15–20%上回る。
• p < 0.01の片側ウィルコクソン符号順位検定において、すべての指標でFedMSplitや他のSOTAベースラインを有意に上回る。
• アブレーションスタディの結果、任意のモダリティを除去すると性能が低下し、特にテキスト（L）が最も大きな影響を持つが、二モダリティ訓練でも大多数のベースラインを上回る。
• 階層的アグリゲーション（PbEA + CmDA）により顕著な性能向上が得られ、特にAcc7とCorrにおいて非IIDおよび非整合データに対する有効性が示された。
• PbEAにおける最適なサンプルサイズSは5または7であり、S = 10では過学習が生じるため、収束速度と一般化性能のトレードオフが確認された。
• 欠損モダリティ状況（MR = 0.3～0.7）下でもHA-Fedformerは強く頑健であり、70%のモダリティ欠損率でもFedMSplitを上回る性能を維持した。