[論文レビュー] Revisiting Pre-training in Audio-Visual Learning

Ruoxuan Feng, Wenke Xia+1 more|arXiv (Cornell University)|Feb 7, 2023

Speech and Audio Processing被引用数 5

ひとこと要約

本稿は、音声視覚学習における事前学習モデルの未利用要因として、異常なBatchNormパラメータと単一モダリティエンコーダー間の負の干渉を特定し、死滅チャネルを是正するための適応的BatchNorm再初期化（ABRi）と、クロスモダリティ協調性を向上させる二段階的ファージョンチューニング戦略を提案する。Kinetics-Sounds、AVE、UCF-101などのデータセットで一貫した性能向上を達成している。

ABSTRACT

Pre-training technique has gained tremendous success in enhancing model performance on various tasks, but found to perform worse than training from scratch in some uni-modal situations. This inspires us to think: are the pre-trained models always effective in the more complex multi-modal scenario, especially for the heterogeneous modalities such as audio and visual ones? We find that the answer is No. Specifically, we explore the effects of pre-trained models on two audio-visual learning scenarios: cross-modal initialization and multi-modal joint learning. When cross-modal initialization is applied, the phenomena of "dead channel" caused by abnormal Batchnorm parameters hinders the utilization of model capacity. Thus, we propose Adaptive Batchnorm Re-initialization (ABRi) to better exploit the capacity of pre-trained models for target tasks. In multi-modal joint learning, we find a strong pre-trained uni-modal encoder would bring negative effects on the encoder of another modality. To alleviate such problem, we introduce a two-stage Fusion Tuning strategy, taking better advantage of the pre-trained knowledge while making the uni-modal encoders cooperate with an adaptive masking method. The experiment results show that our methods could further exploit pre-trained models' potential and boost performance in audio-visual learning.

研究の動機と目的

• 事前学習モデルが、異種モダリティを含む複雑な音声視覚マルチモーダル学習においても有効に機能するかどうかを調査すること。
• 事前学習モデルがクロスモダリティ初期化およびマルチモーダル共同学習の場面で性能を発揮できない理由を診断すること。
• 事前学習モデルの未利用の根本的要因、すなわち異常なBatchNormパラメータと単一モダリティエンコーダー間の負の干渉を特定すること。
• 死滅チャネルを軽減するためのABRiと、表現品質を保持しながらエンコーダー協調性を向上させる二段階的ファージョンチューニング戦略を提案すること。
• 提案手法の有効性と一般化能力を、多様な音声視覚ベンチマークおよびモダリティにおいて検証すること。

提案手法

• クロスモダリティ初期化における死滅チャネルを引き起こす異常なBatchNormパラメータを是正するため、適応的BatchNorm再初期化（ABRi）を提案する。
• ABRiは、学習されたパラメータに基づいてBatchNorm層を適応的に初期化することで、モデル容量を回復させ、収束を加速する。
• 二段階的ファージョンチューニング戦略を導入：第一段階では、各単一モダリティエンコーダーを個別に微調整して事前学習知識を解放し、第二段階では、サンプルごとの適応的マスキングを用いて両エンコーダーを共同で微調整する。
• 適応的マスキング機構は、共同学習中に情報量が少ないモダリティ特徴を動的に抑制することで、学習のバランスを保ち、干渉を低減する。
• ABRiとファージョンチューニングをマルチモーダルモデルに同時に適用し、モデル容量と知識活用の両方の問題を同時に解決する。
• RGBとオプティカルフロー（UCF-101）など異なるモダリティや、AGVAやPSP（AVE）のような複雑な相互作用モジュールへも手法を拡張し、一般化性を示している。

実験結果

リサーチクエスチョン

• RQ1 事前学習モデルが単一モダリティタスクで成功を収めているにもかかわらず、なぜ音声視覚学習で性能を発揮できないのか？
• RQ2 音声事前学習を視覚タスクに適用する際、なぜクロスモダリティ初期化で事前学習モデルが失敗するのか？
• RQ3 強い事前学習エンコーダーが存在する場合、マルチモーダル共同学習において他のモダリティの表現品質にどのように悪影響を及えるのか？
• RQ4 BatchNorm層の適応的再初期化が、事前学習音声視覚モデルにおける収束性と性能向上に寄与するか？
• RQ5 適応的マスキングを用いた二段階チューニング戦略が、単一モダリティエンコーダー間の協調性を向上させるとともに、事前学習知識を保持できるか？

主な発見

• ABRiはCIFAR-100で顕著な性能向上を示し、VGGSound事前学習モデルがABRiを用いることで78.1%の正確度を達成し、ランダム初期化からの学習を上回った。
• Kinetics-Soundsでは、ABRiを組み合わせた二段階的ファージョンチューニング戦略により、正確度が74.13%（VGGSound事前学習）および71.89%（ImageNet事前学習）に上昇し、ベースラインの共同学習を上回った。
• Kinetics-Soundsで音声および視覚エンコーダーの両方にABRiを適用すると性能が低下した。これは、支配的モダリティ（音声）を過剰に最適化すると視覚学習が損なわれるという事実を示している。
• AVEデータセットでは、ファージョンチューニング戦略により正確度が2.1%絶対値上昇（74.13% vs. 72.64%）、mAPも2.1%向上（89.00 vs. 86.49）を達成し、共同学習に比べて優れた性能を示した。
• UCF-101では、二段階的ファージョンチューニングにABRiを適用した結果、83.62%の正確度を達成し、意思決定ファージョンより2.13%、共同学習より4.69%の向上を示した。これは、非音声視覚モダリティに対しても一般化可能であることを示している。
• アブレーションスタディにより、死滅チャネルではなく、モデル知識の未活用がKinetics-Soundsにおける主なボトルネックであることが確認された。ABRi単体では僅かな向上にとどまった。