[論文レビュー] DDT: A Dual-Masking Dual-Expert Transformer for Energy Time-Series Forecasting

Mingnan Zhu, Qiong Zhang+3 more|arXiv (Cornell University)|Jan 12, 2026

Energy Load and Power Forecasting被引用数 0

ひとこと要約

DDTは因果マスクと動的マスクを組み合わせたデュアルマスキング機構と、時系列ダイナミクスと変数間関係を別々にモデリングするデュアルエキスパート・トランスフォーマーを提案し、複数のエネルギー指標において精度を向上させる。

ABSTRACT

Accurate energy time-series forecasting is crucial for ensuring grid stability and promoting the integration of renewable energy, yet it faces significant challenges from complex temporal dependencies and the heterogeneity of multi-source data. To address these issues, we propose DDT, a novel and robust deep learning framework for high-precision time-series forecasting. At its core, DDT introduces two key innovations. First, we design a dual-masking mechanism that synergistically combines a strict causal mask with a data-driven dynamic mask. This novel design ensures theoretical causal consistency while adaptively focusing on the most salient historical information, overcoming the rigidity of traditional masking techniques. Second, our architecture features a dual-expert system that decouples the modeling of temporal dynamics and cross-variable correlations into parallel, specialized pathways, which are then intelligently integrated through a dynamic gated fusion module. We conducted extensive experiments on 7 challenging energy benchmark datasets, including ETTh, Electricity, and Solar. The results demonstrate that DDT consistently outperforms strong state-of-the-art baselines across all prediction horizons, establishing a new benchmark for the task.

研究の動機と目的

• 多源の異種エネルギーデータを因果整合性を保ちながら統合する課題に対処する。
• エネルギー時系列に特化したTransformerベースのモデルを、堅牢なデータ処理とマスキング戦略とともに開発する。
• 時系列ダイナミクスと変数間相関を別々にモデリングするデュアルエキスパート構造を提案する。
• エキスパート出力を統合し、マルチスケール予測を扱う動的ゲート融合モジュールを導入する。

提案手法

• 厳密な因果マスクとデータ駆動型動的マスクを統合したデュアルマスキング機構を導入する。
• 時系列ダイナミクスと変数間相関を並行パスウェイに分離し、動的ゲート融合で統合するデュアルエキスパート・システムを開発する。
• エネルギーデータのCNN-Attention埋め込みを含む多源特徴融合のための異種埋め込みネットワークと、気象・時系列特徴のドメイン固有埋め込みを実装する。
• 因果制約とデータ駆動マスクを融合させ、情報利得を最大化しつつ因果性を維持する動的因果マスキング機構を採用する。
• 長い系列を効率的にモデル化するため、時間系列パッチ（時系列パッチ）と階層的投影および時空混合アテンションを用いる。
• 複数のエネルギーデータセットで訓練・評価を行い、最先端（SOTA）性能を示す。

実験結果

リサーチクエスチョン

• RQ1 因果整合性を保ちながら、どのように多源の異種エネルギーデータを効果的に統合できるか？
• RQ2 データ駆動型の動的マスクは、因果性を損なうことなく適応的特徴選択を改善できるか？
• RQ3 デュアルエキスパート構造は、エネルギーデータにおける時系列ダイナミクスと変数間相関のモデリングを改善するか？
• RQ4 動的ゲート融合と時系列パッチが予測精度に与える影響は、予測期間を跨いでどう現れるか？

主な発見

• DDTは、エネルギー時系列データセットと予測期間全般で強力な最先端基準を一貫して上回る。
• 厳密な因果性と適応的特徴選択のバランスを取るデュアルマスキング機構を実現する。
• デュアルエキスパート構造は時系列ダイナミクスと変数間依存関係を効果的に分離し、動的ゲート融合が統合を改善する。
• 動的因果マスキングは因果整合性を維持しつつデータ駆動型のアテンションフォーカスを可能にする。
• 時系列パッチと階層的投影は長い系列の効率性とモデリング能力を高める。