[論文レビュー] What Makes Training Multi-Modal Classification Networks Hard?

Wei‐Yao Wang, Du Tran+1 more|arXiv (Cornell University)|May 29, 2019

Human Pose and Action Recognition参考文献 63被引用数 28

ひとこと要約

この論文は、マルチモーダルネットワークにおける直感に反する性能低下の主な原因として、過学習とモダリティ間の一般化の不一致を特定し、単一モダリティモデルがしばしば統合モデルを上回る理由を解明している。本研究では、モダリティ固有の過学習行動に基づいて監督信号を最適に組み合わせる、Gradient-Blending (G-Blend) を提案。Kinetics、EPIC-Kitchens、AudioSet における最先端の精度を達成し、ベースラインおよびSOTA手法に顕著な向上を示した。

ABSTRACT

Consider end-to-end training of a multi-modal vs. a single-modal network on a task with multiple input modalities: the multi-modal network receives more information, so it should match or outperform its single-modal counterpart. In our experiments, however, we observe the opposite: the best single-modal network always outperforms the multi-modal network. This observation is consistent across different combinations of modalities and on different tasks and benchmarks. This paper identifies two main causes for this performance drop: first, multi-modal networks are often prone to overfitting due to increased capacity. Second, different modalities overfit and generalize at different rates, so training them jointly with a single optimization strategy is sub-optimal. We address these two problems with a technique we call Gradient Blending, which computes an optimal blend of modalities based on their overfitting behavior. We demonstrate that Gradient Blending outperforms widely-used baselines for avoiding overfitting and achieves state-of-the-art accuracy on various tasks including human action recognition, ego-centric action recognition, and acoustic event detection.

研究の動機と目的

• エンドツーエンド学習されたマルチモーダルネットワークが、より多くの入力情報を有するにもかかわらず、最良の単一モダリティモデルに劣ることがある理由を調査すること。
• 特に、過学習とモダリティ間での一般化速度の相違が、統合学習における性能低下にどの程度寄与しているかを診断すること。
• モダリティ固有の過学習行動に基づいて、動的に監督信号をバランスさせる原理的でアーキテクチャに依存しない手法を開発すること。
• 標準的な正則化や融合技術では問題が解決しないことの証明を示し、新たな学習パラダイムの必要性を示すこと。

提案手法

• 異なるモダリティ間での過学習行動を測定・比較するための定量的指標として、過学習対一般化比 (OGR) を提案。
• OGR値に基づいて、各モダリティの勾配を最適かつ動的にブレンドする訓練手法であるGradient-Blending (G-Blend) を導入。これにより、全体の過学習を最小化する。
• 学習中に調整可能なブレンド係数を用い、一般化性能が優れるモダリティを優遇することで、各モダリティの最適化ダイナミクスを実質的に分離。
• 最終層でのモダリティ固有特徴の連結により、ライト・ファージョン設定でG-Blendを適用。これにより、モダリティ固有の勾配重み付けを伴うエンドツーエンド学習が可能に。
• 標準的なバックプロパゲーションに統合可能な微分可能ブレンド戦略を採用。これにより、モダリティ固有の過学習プロファイルを尊重したまま、統合最適化が可能に。
• 様々なバックボーンと融合戦略を用いて、Kinetics、EPIC-Kitchens、AudioSet といった複数のベンチマークで検証。アーキテクチャの変更なしに一貫した向上を示した。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルネットワークが、より多くの入力情報を有するにもかかわらず、なぜ単一モダリティネットワークに劣ることが多いのか？
• RQ2 過学習とモダリティ間での一般化速度の相違が、統合学習における性能低下にどの程度寄与しているのか？
• RQ3 異なる過学習行動を示す複数のモダリティを効果的にバランスさせる統一的最適化戦略は可能か？
• RQ4 原理的で学習可能な監督信号のブレンド戦略は、マルチモーダル学習において、標準的な正則化や融合技術を凌駕する一般化性能を向上させることができるか？

主な発見

• Kineticsでは、G-Blendがトップ1精度72.6%を達成。最高の単一モダリティRGBモデル（72.6%）と同等の性能を示し、ラテント・ファージョンベースラインを最大2.6ポイント上回った。
• EPIC-Kitchensでは、未学習キッチンチャレンジで2位、学習済みキッチンチャレンジで4位を達成。複数のモダリティと1つのモデルを用いながら、アンサンブルモデルを上回った。
• AudioSetでは、mAP 0.418、mAUC 0.975を達成。Multi-level Attn. や TAL-Net といった最先端手法をそれぞれ5.8%、5.5%上回った。1動画あたり10クリップしか使用していないにもかかわらず。
• Kineticsでは、ナード・ファージョンA/Vベースラインに対して1.4%の向上を示し、SlowFastと同等の性能を達成しながらも、2倍の速度で動作した。
• 事前学習特徴から微調整した場合、Kineticsでトップ1精度83.3%を達成。光流体を一切使用せず、事前学習も行わず、新たなSOTAを樹立した。
• 本手法はアーキテクチャおよびタスクに依存せず、RGBと点群入力を組み合わせる3Dオブジェクト検出の分野へも一般化可能である。