[論文レビュー] MMANet: Margin-aware Distillation and Modality-aware Regularization for Incomplete Multimodal Learning

Shicai Wei, Yang Luo+1 more|arXiv (Cornell University)|Apr 17, 2023

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

MMANetは、マージンに配慮した distillation (MAD) とモダリティに配慮した正則化 (MAR) を用いて、不完全なマルチモodal学習のための統合フレームワークを提案する。教師ネットワークを活用して包括的なマルチモーダル知識を転送し、正則化ネットワークを用いて弱いモダリティの組み合わせに注目することで、一般化性能とロバストネスを向上させ、さまざまな欠損モダリティのシナリオにおいて一貫した向上を達成し、マルチモーダル分類およびセグメンテーションのベンチマークで最先端の性能を達成する。

ABSTRACT

Multimodal learning has shown great potentials in numerous scenes and attracts increasing interest recently. However, it often encounters the problem of missing modality data and thus suffers severe performance degradation in practice. To this end, we propose a general framework called MMANet to assist incomplete multimodal learning. It consists of three components: the deployment network used for inference, the teacher network transferring comprehensive multimodal information to the deployment network, and the regularization network guiding the deployment network to balance weak modality combinations. Specifically, we propose a novel margin-aware distillation (MAD) to assist the information transfer by weighing the sample contribution with the classification uncertainty. This encourages the deployment network to focus on the samples near decision boundaries and acquire the refined inter-class margin. Besides, we design a modality-aware regularization (MAR) algorithm to mine the weak modality combinations and guide the regularization network to calculate prediction loss for them. This forces the deployment network to improve its representation ability for the weak modality combinations adaptively. Finally, extensive experiments on multimodal classification and segmentation tasks demonstrate that our MMANet outperforms the state-of-the-art significantly. Code is available at: https://github.com/shicaiwei123/MMANet

研究の動機と目的

• 推論時における欠損モダリティデータが原因で生じる性能の低下を是正すること。
• 入力が不完全な状態でも、モダリティに依存しない特徴とモダリティ固有の特徴を同時に捉えられる統合モデルを構築すること。
• 既存の統合アプローチでしばしば最適化が不十分となる弱いモダリティの組み合わせに対するモデルの一般化性能を向上させること。
• 意思決定境界付近の難しいサンプルや、代表が少ないモダリティの組み合わせを適応的に優先する訓練フレームワークを設計すること。

提案手法

• デプロイメントネットワーク、完全なマルチモーダルデータで事前学習された教師ネットワーク、正則化ネットワークからなる三部構成のフレームワークを導入する。
• 分類の不確実性に基づいてサンプル損失を再重み付けするマージンに配慮した distillation (MAD) を提案し、意思決定境界付近の難しいサンプルに注目する。
• 弱いモダリティの組み合わせを特定し、強化された表現学習のための優先順位を付けるためにモダリティに配慮した正則化 (MAR) を採用する。
• 教師ネットワークを活用して、知識蒸留を通じて洗練されたクラス間マージンをデプロイメントネットワークに伝達する。
• 正則化ネットワークを用いて補助予測を生成し、弱いモダリティの組み合わせに特化した損失を計算することで、それらの識別性能を向上させる。
• MAD と MAR を組み合わせて、すべてのモダリティの組み合わせにおいて、ロバストネスと識別力の両面でデプロイメントネットワークを共同最適化する。

実験結果

リサーチクエスチョン

• RQ1 統合モデルは、入力が不完全な状態でも、モダリティに依存しない情報とモダリティ固有の情報を効果的に学習し、ロバスト性を保てるか？
• RQ2 しばしば代表が不足し、学習が難しい弱いモダリティの組み合わせに対して、モデルをどのように最適化できるか？
• RQ3 分類の不確実性を用いて知識蒸留を誘導することで、クラス間マージン学習を改善できるか？
• RQ4 モダリティに配慮した正則化は、標準的な正則化よりも弱いモダリティの組み合わせにおける性能向上に優れているか？

主な発見

• CASIA-SURF データセットにおいて、MMANet はベースラインの SF-MD に対して平均で 2.93% の性能向上を達成し、そのうち MAD が 1.33% の貢献を示した。
• 提案された MAD 法は、標準的な知識蒸留 (SP) と比較して平均誤差率を 1.33% 減少させた。これは、主に意思決定境界付近の難しいサンプルに注目した結果である。
• MAR は弱いモダリティの組み合わせにおいて平均で 0.63% の性能向上を達成し、RGB 組み合わせで 1.79%、IR 組み合わせで 1.63%、RGB+IR 組み合わせで 1.02% の向上を示した。
• 単一モダリティおよびマルチモーダルな設定を含め、すべてのモダリティの組み合わせにおいて、カスタマイズされたモデルや既存の統合モデルを上回る性能を発揮した。
• MAR は標準的な正則化 (SR) より平均で 0.39% 高い性能を発揮し、弱い組み合わせの特定と改善の有効性を示した。
• 広範なアブレーションスタディにより、MAD と MAR が複数のデータセットおよびモダリティの組み合わせにおいて一貫して有効であることが確認され、分類およびセグメンテーションタスクにおける性能向上が明確に示された。