[論文レビュー] Missing-by-Design: Certifiable Modality Deletion for Revocable Multimodal Sentiment Analysis

Rong Fu, Wang, Ziming+6 more|arXiv (Cornell University)|Feb 18, 2026

Privacy-Preserving Technologies in Data被引用数 0

ひとこと要約

Missing-by-Design (MBD) を導入した、プライバシーを考慮した適切なモダリティレベル削除をサポートする、撤回可能なマルチモーダル感情分析のためのフレームワーク。プライバシー・キャリブレーション済みのウェイトサージャリーパイプラインを通じて下流の有用性を保持しつつ認証可能な削除を実現。

ABSTRACT

As multimodal systems increasingly process sensitive personal data, the ability to selectively revoke specific data modalities has become a critical requirement for privacy compliance and user autonomy. We present Missing-by-Design (MBD), a unified framework for revocable multimodal sentiment analysis that combines structured representation learning with a certifiable parameter-modification pipeline. Revocability is critical in privacy-sensitive applications where users or regulators may request removal of modality-specific information. MBD learns property-aware embeddings and employs generator-based reconstruction to recover missing channels while preserving task-relevant signals. For deletion requests, the framework applies saliency-driven candidate selection and a calibrated Gaussian update to produce a machine-verifiable Modality Deletion Certificate. Experiments on benchmark datasets show that MBD achieves strong predictive performance under incomplete inputs and delivers a practical privacy-utility trade-off, positioning surgical unlearning as an efficient alternative to full retraining.

研究の動機と目的

• プライバシー対応のマルチモーダルシステムにおけるユーザー制御型・モダリティ特異的削除の必要性を動機付ける。
• 欠落モダリティ下で堅牢な融合を実現する統合パイプライン（特性認識分解、モダリティ生成器、証明可能なパラメータ手術）を提案する。
• 差分プライバシーでキャリブ레이ションされた変更を伴うモダリティ削除証明書（Modality Deletion Certificate）を介して検証可能な削除を実現する。
• モダリティ削除後も予測性能を維持または回復させ、実務的なプライバシー・有用性のトレードオフを支援する。

提案手法

• モダリティ固有の生成器を用いた特性情報を組み込んだバックボーンを導入し、欠落チャネルを再構築する。
• モダリティ埋め込みをサンプル依存成分とサンプル不変成分に分解してモダリティ事前知識を学習する。
• バック翻訳と対比目的を用いて、タスク関連信号を整列・保持する。
• サリエンシーをガイドとするSwiftPrune風のウェイトサージャ手順をガウシアンキャリブレーション付きで適用し、証明可能なモダリティ削除を実現する。
• 削除されたモダリティ、変更されたパラメータ、ノイズスケール、検証テストを詳細に示すモダリティ削除証明書（MDC）を作成する。

Figure 1: Overview of the Missing-by-Design (MBD) framework for certifiable modality deletion. The architecture is organized into two primary stages: a property-informed joint training phase and a weight surgery pipeline. In the training phase, multimodal inputs ( $X^{L},X^{A},X^{V}$ ) are integrate

実験結果

リサーチクエスチョン

• RQ1 削除訓練をゼロから行わずに、認証可能なモダリティレベル削除をマルチモーダル感情分析モデルで実行するにはどうすればよいか？
• RQ2 特性認識表現はモダリティが欠落または削除された場合のロバスト性を向上させるか？
• RQ3 モダリティ削除のプライバシー–有用性トレードオフはどうなるか、機械可検証可能か？
• RQ4 提案された削除手順は標準ベンチマークで削除後の下流の有用性を維持できるか？

主な発見

Method	Acc7 (CMU-MOSI)	Acc2 (CMU-MOSI)	F1 (CMU-MOSI)	MAE (CMU-MOSI)	Corr (CMU-MOSI)	Acc7 (CMU-MOSEI)	Acc2 (CMU-MOSEI)	F1 (CMU-MOSEI)	MAE (CMU-MOSEI)	Corr (CMU-MOSEI)
MBD (ours)	50.8	89.9	89.9	0.620	0.872	56.7	89.4	89.4	0.478	0.836

• MBD は不完全な入力下で強い予測性能を達成し、標準データセット上でベースラインを上回る。
• 実証結果は MDC による検証可能な削除を伴う実用的なプライバシー–有用性トレードオフを示す。
• 削除実験は、プライバシー予算を厳しくすると攻撃耐性が低下する一方、元の精度から Acc2 を1–1.5ポイント程度保持することを示す。
• ε_mod ≤ 1 の認証付き削除予算は、攻撃成功率の低下という大幅なプライバシー向上をもたらす一方、実用性の損失は最小限に抑えられる。
• アブレーション研究は、特性埋め込みと再構成モジュールが欠落モダリティ下での性能に最も大きく寄与することを特定した。

Figure 2: Privacy–utility trade-off after certified audio deletion. Plotted curves show binary accuracy (Acc2) together with attack success rate (ASR, white-box) as functions of $\varepsilon_{\mathrm{mod}}$ . Lower ASR and higher Acc2 are preferred.