[論文レビュー] RegBN: Batch Normalization of Multimodal Data with Regularization

Morteza Ghahremani, Christian Wachinger|arXiv (Cornell University)|Oct 1, 2023

Music and Audio ProcessingComputer Science被引用数 3

ひとこと要約

RegBN は、異種のモダリティ間の交絡要因や依存関係を低減するための、マルチモーダルデータ向けの新しいバッチ正規化手法であり、Frobeniusノルムを正則化子として用いる。学習可能なパラメータを含まない特徴の独立性を強制することで、多様なアーキテクチャやデータセットにおいて訓練の安定性と性能が向上し、最小限のハイパーパrameterチューニングでマルチモーダル学習タスクで一貫した向上を示す。

ABSTRACT

Recent years have witnessed a surge of interest in integrating high-dimensional data captured by multisource sensors, driven by the impressive success of neural networks in the integration of multimodal data. However, the integration of heterogeneous multimodal data poses a significant challenge, as confounding effects and dependencies among such heterogeneous data sources introduce unwanted variability and bias, leading to suboptimal performance of multimodal models. Therefore, it becomes crucial to normalize the low- or high-level features extracted from data modalities before their fusion takes place. This paper introduces a novel approach for the normalization of multimodal data, called RegBN, that incorporates regularization. RegBN uses the Frobenius norm as a regularizer term to address the side effects of confounders and underlying dependencies among different data sources. The proposed method generalizes well across multiple modalities and eliminates the need for learnable parameters, simplifying training and inference. We validate the effectiveness of RegBN on eight databases from five research areas, encompassing diverse modalities such as language, audio, image, video, depth, tabular, and 3D MRI. The proposed method demonstrates broad applicability across different architectures such as multilayer perceptrons, convolutional neural networks, and vision transformers, enabling effective normalization of both low- and high-level features in multimodal neural networks. RegBN is available at \url{https://github.com/mogvision/regbn}.

研究の動機と目的

• マルチモーダルニューラルネットワークにおける性能低下や訓練の不安定化を引き起こす交絡要因とモダリティ間の依存関係を解消すること。
• 画像、テキスト、音声、動画、3D MRI などの多様なモダリティから得られる低レベルおよび高レベル特徴に一般化可能な、パラメータフリーの正規化技術を開発すること。
• 融合の前段階でモダリティ間の統計的独立性を促進することで、マルチモーダル統合の信頼性とロバスト性を向上させること。
• MLP、CNN、ビジョントランスフォーマーを含むさまざまなニューラルネットワークアーキテクチャに有効な正規化を可能にすること。
• 交絡要因やモダリティの不均衡に依然として感受性を示すメタデータに基づく正規化手法への依存を軽減すること。

提案手法

• RegBN は、ペアワイズのモダリティ間の特徴共分散行列にFrobeniusノルムに基づく正則化子を適用し、相関を最小化することでモダリティ間の独立性を促進する。
• 標準的なバッチ正規化と同様に、バッチ統計を用いて特徴を再中心化および再スケーリングするが、追加の正則化項を含む。
• 正則化項は L-BFGS を用いて最適化され、モダリティ間の共分散行列のFrobeniusノルムを最小化する最適なスケーリング係数 λ₊ を特定する。
• RegBN は融合の直前に軽量で微分可能なレイヤーとして適用され、入力が相互に独立でない限り、ネットワーク内で複数回挿入可能である。
• 学習可能なパラメータを必要としないため、トレーニングと推論の簡素化が可能であり、既存のアーキテクチャとの互換性を維持する。
• 小さなバッチサイズ（≥40）でも有効であり、低バッチサイズで不安定化を示す MDN よりも優れた性能を示す。

実験結果

リサーチクエスチョン

• RQ1 パラメータフリーの正規化手法は、マルチモーダルニューラルネットワークにおける交絡要因とモダリティ間の依存関係を効果的に低減できるか？
• RQ2 RegBN は、画像、テキスト、音声、動画、深度、表形式データ、3D MRI を含む多様なデータモダリティでどのように動作するか？
• RQ3 標準的なバッチ正規化およびメタデータベースの正規化手法と比較して、RegBN は訓練の安定性とモデルの精度をどの程度向上させるか？
• RQ4 学習率や L-BFGS の最大反復回数などのハイパーパramータ設定は、異なる環境で RegBN の最適な性能を引き出すのにどの程度有効か？
• RQ5 MLP、CNN、ビジョントランスフォーマーなどの異なるニューラルネットワークアーキテクチャに、RegBN を効果的に適用できるか？

主な発見

• RegBN は、医療、感情認識、マルチメディアを含む5つの研究分野における8つの多様なデータベースで最先端の性能を達成した。
• CMU-MOSI データセットにおいて、RegBN と MulT を用いた場合、学習率 1.0 および L-BFGS の最大反復回数 30 の条件下で、バイナリ精度 81.8%、5クラス精度 42.3% を達成した。
• 小さなバッチサイズでも頑健性を示し、MDN が失敗する状況でも性能を維持した。最適な性能はバッチサイズ ≥50 で観察された。
• ベースラインの正規化手法やメタデータベースの手法よりも、交絡要因の低減と特徴の独立性の向上において優れた性能を示した。
• アブレーションスタディにより、Frobeniusノルム正則化子が、すべてのテストアーキテクチャでモデルの汎化性能と収束速度を顕著に向上させたことが確認された。
• アーキテクチャの変更なしに、早期統合、中間統合、後期統合のすべての統合パラダイムで有効であった。