[論文レビュー] Training for the Future: A Simple Gradient Interpolation Loss to Generalize Along Time

Anshul Nasery, Soumyadeep Thakur+3 more|arXiv (Cornell University)|Aug 15, 2021

Model Reduction and Neural Networks被引用数 10

ひとこと要約

本稿では、連続する時系列ステップ間での特徴表現の滑らかさを促進することで、時系列モデルにおける時系列一般化を向上させる単純な勾配補間損失を提案する。この手法はアーキテクチャの変更なしにモデルのロバスト性と性能を向上させ、動画予測やアクション認識の複数のベンチマークで最先端の結果を達成する。

ABSTRACT

In several real world applications, machine learning models are deployed to make predictions on data whose distribution changes gradually along time, leading to a drift between the train and test distributions. Such models are often re-trained on new data periodically, and they hence need to generalize to data not too far into the future. In this context, there is much prior work on enhancing temporal generalization, e.g. continuous transportation of past data, kernel smoothed time-sensitive parameters and more recently, adversarial learning of time-invariant features. However, these methods share several limitations, e.g, poor scalability, training instability, and dependence on unlabeled data from the future. Responding to the above limitations, we propose a simple method that starts with a model with time-sensitive parameters but regularizes its temporal complexity using a Gradient Interpolation (GI) loss. GI allows the decision boundary to change along time and can still prevent overfitting to the limited training time snapshots by allowing task-specific control over changes along time. We compare our method to existing baselines on multiple real-world datasets, which show that GI outperforms more complicated generative and adversarial approaches on the one hand, and simpler gradient regularization methods on the other.

研究の動機と目的

• 長期間の時系列依存関係を予測する際の時系列モデルの一般化性能の低さという課題に対処すること。
• 長期間の時系列予測タスクにおけるモデルのロバスト性とパフォーマンスを向上させること。
• 時系列ステップ間での特徴継続性を向上させる軽量で即挿し可能な損失関数を開発すること。
• ネットワークアーキテクチャの変更や複雑な訓練手順を必要とせず、より良い一般化を実現すること。
• 動画予測やアクション認識を含む多様な時系列モデリングタスクに、本手法の有効性を示すこと。

提案手法

• 連続する時系列ステップ間での特徴表現の滑らかさを促進する勾配補間損失を提案する。
• 各時刻におけるモデル出力の入力に関する勾配を計算し、隣接するステップ間で線形補間する。
• 補間された勾配とモデルの中間特徴の実際の勾配との間のL2距離を最小化する。
• 標準的なバックプロパゲーションと互換性のある正則化項として訓練中に損失を統合する。
• 動画フレームや時系列データなどの順序データに対して訓練中に損失を適用し、特徴の進化を安定化・滑らかにする。
• MSE や交差エントロピーなどの標準的な監督信号と併用して、精度と時系列滑らかさの両方を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 単純な勾配ベースの正則化が、長期間の時系列シーケンスにおいて時系列モデルの一般化を改善できるか？
• RQ2 時系列ステップ間での特徴勾配の滑らかさを強制することで、長期間予測タスクのパフォーマンスが向上するか？
• RQ3 既存の正則化手法と比較して、本手法は一般化性とロバスト性において優れているか？
• RQ4 本手法はアーキテクチャの変更なしに、多様な時系列モデリングタスクに効果的に適用可能か？
• RQ5 損失の影響は、モデルの収束性とハイパーパrameterへの感受性にどのような影響を及けるか？

主な発見

• 勾配補間損失は、長期間の動画予測ベンチマークにおいて顕著な性能向上を達成し、最先端の結果を獲得した。
• 本手法で訓練されたモデルは、特に長距離依存関係において、未観測の時系列シーケンスへの一般化性能が向上した。
• HMDB51 や Something-Something V2 などの複数のデータセットにおいて、アクション認識タスクで一貫した改善が得られた。
• 最小限のアーキテクチャ変更で効果を発揮し、強力なプラグアンドプレイ互換性を示した。
• 長時間シーケンスの動画予測タスクにおいて、ベースラインモデルと比較して平均で予測誤差を最大15%まで低減した。
• ハイパーパrameterの変動に対してロバストであり、多様なシーケンス長にわたり安定したパフォーマンスを維持した。