[論文レビュー] Unsupervised Transfer Learning for Spatiotemporal Predictive Networks

Zhiyu Yao, Yunbo Wang+2 more|arXiv (Cornell University)|Sep 24, 2020

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本論文は、複数の事前学習済み時空間RNNからターゲット予測ネットワークへの自己教師付き転移学習を可能にする微分可能フレームワーク「Transferable Memory」を提案する。新しい転送可能メモリユニット（TMU）を用いて、多様なソースモデルのメモリ状態から知識を適応的に蒸留することで、コンテンツが関連性のない場合でさえも3つのベンチマークで予測性能を顕著に向上させ、ファインチューニングを上回り、ラベルなしで有効な知識転送を実現する。

ABSTRACT

This paper explores a new research problem of unsupervised transfer learning across multiple spatiotemporal prediction tasks. Unlike most existing transfer learning methods that focus on fixing the discrepancy between supervised tasks, we study how to transfer knowledge from a zoo of unsupervisedly learned models towards another predictive network. Our motivation is that models from different sources are expected to understand the complex spatiotemporal dynamics from different perspectives, thereby effectively supplementing the new task, even if the task has sufficient training samples. Technically, we propose a differentiable framework named transferable memory. It adaptively distills knowledge from a bank of memory states of multiple pretrained RNNs, and applies it to the target network via a novel recurrent structure called the Transferable Memory Unit (TMU). Compared with finetuning, our approach yields significant improvements on three benchmarks for spatiotemporal prediction, and benefits the target task even from less relevant pretext ones.

研究の動機と目的

• ラベルなしのデータを用いて、複数の自己教師付きで事前学習済みの時空間モデルから新しい予測タスクへの知識転送の課題を解決すること。
• 時空間予測におけるソースタスクとターゲットタスクの間のドメインシフトおよび分布の不一致を克服すること。
• 多様なソースモデルから転送可能な表現を動的に選択・統合できる微分可能なメカニズムを開発すること。
• ソースデータのコンテンツが関連性が低くても、時系列的ダイナミクスが類似している場合に、知識転送が有効に機能するかを検証すること。
• さまざまなRNNベースの時空間モデルに適用可能なスケーラブルでアーキテクチャに依存しないソリューションを提供すること。

提案手法

• 複数の事前学習済みRNNのメモリ状態に対して自己教師付き知識蒸留を実行する微分可能フレームワーク「Transferable Memory」を提案。
• 蒸留表現を学習可能なゲーティングメカニズムで統合する、新規の再帰的構造である転送可能メモリユニット（TMU）を導入。
• 各ソースモデルの蒸留されたメモリ状態がターゲットネットワークに与える影響を動的に制御するための適応的アテンションゲートを用いる。
• 自己教師付き予測学習を事前学習タスクとして採用し、ソースモデルを過去のシーケンスから将来のフレームを予測するように訓練。
• ConvLSTM、PredRNN、MIM、SAVPなど、複数のRNNアーキテクチャに適用可能であることを示す。
• ターゲットネットワークを、ファインチューニングやラベルデータを必要とせずに、ソースモデルからの蒸留知識を用いてエンドツーエンドで訓練。

実験結果

リサーチクエスチョン

• RQ1 複数の自己教師付きで事前学習済みの時空間モデルから、ラベルなしのデータを用いて新しい予測タスクへの知識転送が有効に行えるか。
• RQ2 コンテンツの関連性が異なる多様なソースモデルから、関連性に応じて動的に転送可能な表現を選択・統合できるフレームワークはどのように構築できるか。
• RQ3 合成的な動く数字のようなコンテンツが関連性のないソースドメインからの転送も、実世界の時空間予測タスクで性能向上をもたらすか。
• RQ4 ターゲットタスクに十分なラベル付きデータが利用可能な場合、標準的なファインチューニングを上回る性能を発揮できるか。
• RQ5 ソースデータとターゲットデータの間のドメインシフトや分布の不一致に対し、このフレームワークはどのように対処するか。

主な発見

• Transferable Memoryフレームワークは、合成飛行する数字、人間の動き予測（KTH）、降水量予測（北京レーダ）の3つのベンチマークで顕著な性能向上を達成した。
• KTHデータセットでは、2桁の動くMNISTソースモデルからの転送により、SSIMが0.771（スクラッチから学習）から0.808に向上し、コンテンツが関連性の低いソースからの強力な転送性を示した。
• KTHとMoving MNISTを両方のソースとして用いた場合、北京レーダデータではCSIが0.382に達し、ベースライン（0.348）を上回った。これは、ソースのコンテンツが視覚的に無関係であったにもかかわらず、性能向上が達成されたことを示している。
• TMUは、関連性の高いソースドメイン（例：広州レーダデータ）に対して高いアテンション重みを割り当てることで、ソース貢献度の動的制御が可能であることを確認した。
• 十分なラベル付きデータがあるターゲットタスクに対しても、標準的なファインチューニングを上回る性能を発揮した。これは、蒸留された知識がドメイン固有の学習を補完していることを示している。
• ConvLSTM、PredRNN、MIM、SAVPなど多様なRNNアーキテクチャにわたり、フレームワークの有効性が保たれ、汎用性の高さを確認した。