[論文レビュー] Dual-Criterion Curriculum Learning: Application to Temporal Data

Guy Abel, Eloi Campagne+2 more|arXiv (Cornell University)|Mar 24, 2026

Machine Learning and Data Classification被引用数 0

ひとこと要約

Lossベースと密度ベースの難易度信号を組み合わせてカリキュラムを形成するDual-Criterion Curriculum Learning（DCCL）を提案。Transformerベースの多変量時系列予測で評価し、ハイブリッド戦略はLossのみ・非CLベースラインを上回る。

ABSTRACT

Curriculum Learning (CL) is a meta-learning paradigm that trains a model by feeding the data instances incrementally according to a schedule, which is based on difficulty progression. Defining meaningful difficulty assessment measures is crucial and most usually the main bottleneck for effective learning, while also in many cases the employed heuristics are only application-specific. In this work, we propose the Dual-Criterion Curriculum Learning (DCCL) framework that combines two views of assessing instance-wise difficulty: a loss-based criterion is complemented by a density-based criterion learned in the data representation space. Essentially, DCCL calibrates training-based evidence (loss) under the consideration that data sparseness amplifies the learning difficulty. As a testbed, we choose the time-series forecasting task. We evaluate our framework on multivariate time-series benchmarks under standard One-Pass and Baby-Steps training schedules. Empirical results show the interest of density-based and hybrid dual-criterion curricula over loss-only baselines and standard non-CL training in this setting.

研究の動機と目的

• Curriculum Learning（CL）の難易度評価のボトルネックを動機づけ、損失とデータ密度の両方を連携して考慮するモジュラーなフレームワークを提案する。
• 表現空間における密度測度を、損失を補完するインスタンスの難易度スコアとして開発する。
• カリキュラム構築のための損失基準と密度基準を組み合わせるハイブリッド統合戦略を提案する。
• DCCLをTransformerベースの予測器を用いた多変量時系列予測へ適用し、標準ベンチマークで評価する。
• One-PassおよびBaby-Stepsの訓練スケジュール下で、非CL、損失のみ、密度のみのカリキュラムと比較する。

提案手法

• データを埋め込みへ写像する表現モデルと、インスタンスをスコアリングする難易度測定器からなるモジュラーなCLパイプラインを構築する。
• 学習された表現空間における密度推定（k-NN密度やカーネル密度推定）を、純粋な難易度信号またはハイブリッド信号として用いる。
• 予測損失から計算される損失ベースの難易度スコアを代替信号として用いる。
• ハイブリッド統合戦略を提案する：Convex-value（正規化された損失と密度の加重和）、Convex-rank（ランクの加重和）、Grid（2Dの損失-密度階層化）を用いてK個のカリキュラムバケットを生成する。
• 難易度測定の効果を分離するため、訓練スケジュールは固定（One-PassとBaby-Steps）。
• 表現学習に続くカリキュラムベースの訓練を用いて、5つの多変量時系列データセットをTransformer予測器で評価する。

実験結果

リサーチクエスチョン

• RQ1 損失ベースと密度ベースの難易度信号を組み合わせることで、時系列予測のカリキュラムは片方のみを用いる場合より堅牢になるか。
• RQ2 予測タスクにおいて、容易/難のインスタンスを表現空間で反映させる密度はどう推定すべきか。
• RQ3 Dual-criterion戦略を用いた場合、One-PassとBaby-Stepsのカリキュラム間の相対的な性能トレードオフはどうなるか。
• RQ4 Hybridカリキュラムは、エネルギー・気象・モビリティなど多様な時間的領域において非カリキュラム訓練と比較して一貫して精度を向上させるか。

主な発見

Dataset	Mean rank	No-curriculum	Random	STL	Loss-based	k-NN	KDE	Convex-value	Convex-ranks	Grid
One-Pass • Electricity	5.00	0.486 b1 0.065	0.462 b1 0.059	0.604 b1 0.069	0.399 b1 0.026	0.532 b1 0.101	0.435 b1 0.042	0.502 b1 0.074	0.513 b1 0.025	0.505 b1 0.039
One-Pass • ETT	5.00	1.005 b1 0.085	1.004 b1 0.159	0.928 b1 0.137	1.051 b1 0.627	0.582 b1 0.159	0.830 b1 0.106	0.129 b1 0.015	0.267 b1 0.188	0.375 b1 0.108
One-Pass • ILI	5.00	0.865 b1 0.019	0.871 b1 0.043	0.932 b1 0.031	0.946 b1 0.040	1.092 b1 0.191	0.925 b1 0.034	0.862 b1 0.029	0.821 b1 0.021
One-Pass • Weather	5.00	0.201 b1 0.036	0.196 b1 0.060	0.226 b1 0.071	0.169 b1 0.025	0.169 b1 0.053	0.209 b1 0.023	0.470 b1 0.047	0.177 b1 0.026
One-Pass • Solar AL	5.00	0.080 b1 0.009	0.076 b1 0.007	0.082 b1 0.007	0.103 b1 0.006	0.186 b1 0.022	0.115 b1 0.024	0.074 b1 0.008	0.106 b1 0.018
One-Pass • Mean	-	-	-	-	-	-	-	-	-	-
Baby-Steps • Electricity	7.00	0.486 b1 0.065	0.505 b1 0.039	0.630 b1 0.098	0.532 b1 0.044	0.507 b1 0.035	0.492 b1 0.049	0.483 b1 0.047	0.513 b1 0.043	0.505 b1 0.064
Baby-Steps • ETT	5.00	1.005 b1 0.085	0.935 b1 0.123	0.914 b1 0.109	0.987 b1 0.132	0.556 b1 0.135	0.969 b1 0.145	0.298 b1 0.143	0.757 b1 0.332	0.847 b1 0.164
Baby-Steps • ILI	5.00	0.865 b1 0.019	0.805 b1 0.043	0.882 b1 0.021	0.831 b1 0.026	0.952 b1 0.110	0.921 b1 0.096	0.874 b1 0.104	0.714 b1 0.018	0.749 b1 0.032
Baby-Steps • Weather	5.00	0.201 b1 0.036	0.196 b1 0.060	0.031 b1 0.016	0.077 b1 0.069	0.029 b1 0.016	0.029 b1 0.008	0.038 b1 0.018	0.029 b1 0.016	0.029 b1 0.016
Baby-Steps • Solar AL	5.00	0.080 b1 0.009	0.069 b1 0.005	0.060 b1 0.007	0.066 b1 0.012	0.058 b1 0.007	0.069 b1 0.007	0.060 b1 0.012	0.058 b1 0.007	0.059 b1 0.007

• ハイブリッド戦略（損失＋密度）は、データセットとスケジュール全体で最も強い総合パフォーマンスを達成。
• One-PassではGridとConvex-valueハイブリッドが平均で最も良いランクを獲得、Baby-StepsではGridが平均順位のトップを取ることが多い。
• 密度ベースの信号は、特定のデータセット（例：ILI・ETT）で損失ベースを上回ることがあり、両者が補完的であることを支持。
• Baby-Stepsは容易なインスタンスへの再露出により恩恵を増幅させる傾向があり、大規模データセットでは計算コストのトレードオフが生じる。
• 純粋な損失ベースのカリキュラムは暖機モデルの誤った較正に惑わされることがあり、密度ベースのカリキュラムは学習ダイナミクスを見落とす可能性がある。融合はこれらの問題を緩和。