[論文レビュー] What Makes Training Multi-Modal Networks Hard?

Wei‐Yao Wang, Du Tran+1 more|arXiv (Cornell University)|May 29, 2019

Human Pose and Action Recognition参考文献 30被引用数 25

ひとこと要約

本論文は、マルチモーダルネットワークが過学習とモダリティ間の一般化レートの不一致により、シングルモーダルネットワークに比べて性能を発揮しないことを特定した。本論文では、各モダリティの過学習行動に基づいて勾配を適応的に組み合わせる手法であるGradient Blendingを提案し、複数のマルチモーダルベンチマークで最先端の性能を達成した。

ABSTRACT

Consider end-to-end training of a multi-modal vs. a single-modal network on a task with multiple input modalities: the multi-modal network receives more information, so it should match or outperform its single-modal counterpart. In our experiments, however, we observe the opposite: the best single-modal network always outperforms the multi-modal network. This observation is consistent across different combinations of modalities and on different tasks and benchmarks. This paper identifies two main causes for this performance drop: first, multi-modal networks are often prone to overfitting due to increased capacity. Second, different modalities overfit and generalize at different rates, so training them jointly with a single optimization strategy is sub-optimal. We address these two problems with a technique we call Gradient Blending, which computes an optimal blend of modalities based on their overfitting behavior. We demonstrate that Gradient Blending outperforms widely-used baselines for avoiding overfitting and achieves state-of-the-art accuracy on various tasks including fine-grained sport classification, human action recognition, and acoustic event detection.

研究の動機と目的

• マルチモーダルネットワークがより多くの入力情報を得ているにもかかわらず、シングルモーダルネットワークに比べてなぜしばしば性能を発揮しないのかを調査すること。
• 特に過学習とモダリティ間の一般化の不一致に起因するマルチモーダル学習における性能低下の根本的要因を特定すること。
• 各モダリティの過学習行動に応じて勾配更新を動的に調整する学習戦略を開発し、一般化性能を向上させること。
• 提案手法の有効性を、細分化分類や行動認識を含む多様なマルチモーダルタスクおよびベンチマークで評価すること。

提案手法

• 本手法は、バックプロパゲーション中に各モダリティの個別の過学習傾向に基づいて、モダリティ固有の重み付き勾配組み合わせを計算するGradient Blendingを導入する。
• 過学習行動は、訓練中に検証セットの損失をモニタリングすることで推定され、モデルは各モダリティに対して高いまたは低い勾配重みを適応的に割り当てる。
• ブレンド重みは、各モダリティの損失の時間的相対的安定性を反映する微分可能メカニズムを用いて、訓練中に動的に学習される。
• 本手法はエンドツーエンドの訓練を維持しながら、異なるモダリティの最適化ダイナミクスを分離することで、学習中の干渉を低減する。
• 本手法は、アーキテクチャの変更なしにさまざまなマルチモーダルアーキテクチャに適用可能であり、タスクに広く適用可能である。
• 標準ベースラインと最先端手法を用いた複数のベンチマーク（細分化スポート分類と音響イベント検出を含む）で評価された。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルネットワークが、より多くの入力情報を得ているにもかかわらず、なぜ一貫してシングルモーダルネットワークに劣る性能を示すのか？
• RQ2 モダリティ間の過学習率の違いが、マルチモーダル学習における性能低下にどの程度寄与しているのか？
• RQ3 各モダリティの過学習行動を考慮した動的勾配ブレンド戦略は、マルチモーダル学習における一般化を向上させることができるか？
• RQ4 Gradient Blendingは、過学習を低減し、マルチモーダルタスクでの精度を向上させるために、標準的な最適化および正則化手法と比較してどのように優れているのか？

主な発見

• マルチモーダルネットワークは、複数のタスクおよびデータセットで、シングルモーダルネットワークに比べて一貫して性能を発揮しない。
• 性能格差の主な要因は、モデル容量の増加に起因する過学習と、モダリティ間の一般化レートの不一致にある。
• Gradient Blendingは、各モダリティの過学習行動に応じて勾配寄与を動的に調整することで、過学習を効果的に低減する。
• 本手法は、細分化スポート分類、人間行動認識、音響イベント検出ベンチマークで最先端の精度を達成した。
• Gradient Blendingは、一般的に用いられる正則化および最適化ベースラインを上回り、マルチモーダルモデルの一般化性能を向上させた。
• 異なるモダリティの組み合わせおよびタスクにおいて一貫した改善が得られ、本手法の堅牢性を示した。