[論文レビュー] DMCL: Distillation Multiple Choice Learning for Multimodal Action Recognition

Nuno C. Garcia, Sarah Adel Bargal+4 more|arXiv (Cornell University)|Dec 23, 2019

Human Pose and Action Recognition参考文献 40被引用数 10

ひとこと要約

本論文は、マルチモーダルアクション認識のための協調的トレーニングを可能にする新規な知識蒸留フレームワーク、DMCLを提案する。各トレーニングステップで最もパフォーマンスの良いモダリティネットワークが他のネットワークに知識を蒸留する。本手法は3つのベンチマークデータセットで最先端の性能を達成し、小規模なデータセットでは最大6%の精度向上を達成するとともに、テスト時にモダリティが欠損してもロバストである。

ABSTRACT

In this work, we address the problem of learning an ensemble of specialist networks using multimodal data, while considering the realistic and challenging scenario of possible missing modalities at test time. Our goal is to leverage the complementary information of multiple modalities to the benefit of the ensemble and each individual network. We introduce a novel Distillation Multiple Choice Learning framework for multimodal data, where different modality networks learn in a cooperative setting from scratch, strengthening one another. The modality networks learned using our method achieve significantly higher accuracy than if trained separately, due to the guidance of other modalities. We evaluate this approach on three video action recognition benchmark datasets. We obtain state-of-the-art results in comparison to other approaches that work with missing modalities at test time.

研究の動機と目的

• テスト時に一部のモダリティが欠落する可能性がある状況において、ロバストなマルチモーダルアクション認識モデルをトレーニングする課題に対処すること。
• 異なるモダリティ間で補完的な情報を活用して、個々のモダリティ固有のネットワークの性能を向上させること。
• 高速に学習するモダリティネットワークがトレーニングを支配するようになる、単純なマルチチョイス学習（MCL）の限界を克服すること。
• トレーニング中に複数のモダリティからの特権情報（privileged information）を活用し、推論時に単一モダリティ分類器の一般化性能を向上させること。
• 再トレーニングを必要とせず、テスト時に1つのモダリティ（例：RGB）しか利用できない状況でも高い精度を維持できるフレームワークを開発すること。

提案手法

• 各トレーニングサンプルに対して、分類損失が最小となるモダリティネットワークを「教師」とし、他のネットワークに知識を蒸留する協調トレーニングパラダイムを導入する。
• 教師ネットワークのソフトターゲットを用いて、式（3）に定義された一般化された蒸留損失を通じて、学生ネットワークのトレーニングをガイドする。
• RGB、深度、オプティカルフローといった異なるモダリティ間で、マルチティーチャー・マルチスタディオの設定において知識蒸留を適用し、モダリティ間の知識移行を可能にする。
• 動的選択メカニズムを採用：各フォワードパスにおいて、損失が最小となるモダリティが教師として選択され、最も信頼性の高いモダリティが他のモダリティをガイドする。
• すべてのモダリティネットワークをエンドツーエンドで同時にトレーニングし、各ネットワークが最も得意なクラスやサンプルに特化できるようにする。
• テスト時に任意のモダリティサブセットを用いて推論を可能にし、蒸留された知識のおかげで、一部のモダリティが欠落してもロバストな性能を発揮する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルアクション認識タスクの性能を向上させるために、複数のモダリティネットワークをどのように協調的にトレーニングできるか？
• RQ2 マルチモーダルデータに標準的なマルチチョイス学習（MCL）を適用した場合の失敗モードは何か？ そしてそれらはどのように緩和できるか？
• RQ3 知識蒸留が、特にテスト時に一部のモダリティが欠落する状況でも、あるモダリティの識別的強みを他のモダリティに効果的に伝えることができるか？
• RQ4 独立してトレーニングされたモダリティネットワークと比較して、蒸留による協調学習が精度にどの程度向上効果をもたらすか？
• RQ5 DMCLフレームワークの性能は、異なるデータセットサイズやモダリティ利用状況の設定において、どのようにスケーリングするか？

主な発見

• テスト時にRGBモダリティのみが利用可能な状況で、NTU60データセットにおいてベースライン比で6%の絶対的精度向上を達成した。
• UWA3DIIデータセットでは、テスト時にRGBモダリティのみを用いた場合、81.87%の精度を達成し、以前の最先端手法を1.3%上回った。
• テスト時に深度モダリティのみを用いた場合、UWA3DIIで81.87%の精度を達成し、ベースライン比で4.8%の向上を示した。
• NTU120の完全なデータセットにおいて、テスト時にオプティカルフローのみを用いた場合、86.44%の精度を達成し、ベースラインを1.7%上回った。
• 蒸留効果は、小規模なデータセット（例：NTU60およびNTU120ミニ）において顕著であり、ベースライン比で最大6%の精度向上を達成した。
• UWA3DII、NWUCLA、NTUの3つのベンチマークデータセットすべてで、テスト時に単一モダリティのみを用いても、DMCLは最先端の性能を達成した。