[논문 리뷰] Dual-Criterion Curriculum Learning: Application to Temporal Data

Guy Abel, Eloi Campagne외 2명|arXiv (Cornell University)|2026. 03. 24.

Machine Learning and Data Classification인용 수 0

한 줄 요약

듀얼-크리테리온 커리큘럼 러닝(DCCL)을 도입하여 손실 기반 신호와 밀도 기반 난이도 신호를 결합해 커리큘럼을 구성하고, Transformer 기반 다변량 시계열 예측에 대해 평가한 결과 하이브리드 전략이 손실만 또는 비-CL 기초 모델 대비 우수한 성능을 보임.

ABSTRACT

Curriculum Learning (CL) is a meta-learning paradigm that trains a model by feeding the data instances incrementally according to a schedule, which is based on difficulty progression. Defining meaningful difficulty assessment measures is crucial and most usually the main bottleneck for effective learning, while also in many cases the employed heuristics are only application-specific. In this work, we propose the Dual-Criterion Curriculum Learning (DCCL) framework that combines two views of assessing instance-wise difficulty: a loss-based criterion is complemented by a density-based criterion learned in the data representation space. Essentially, DCCL calibrates training-based evidence (loss) under the consideration that data sparseness amplifies the learning difficulty. As a testbed, we choose the time-series forecasting task. We evaluate our framework on multivariate time-series benchmarks under standard One-Pass and Baby-Steps training schedules. Empirical results show the interest of density-based and hybrid dual-criterion curricula over loss-only baselines and standard non-CL training in this setting.

연구 동기 및 목표

• 커리큘럼 러닝(CL)에서 난이도 평가의 병목 현상을 동기화하고 손실과 데이터 밀도를 함께 고려하는 모듈식 프레임워크를 제안한다.
• 임베딩 공간에서 표현 기반 밀도 측정치를 개발하여 손실을 보완하는 인스턴스 난이도 점수로 활용한다.
• 손실과 밀도 기준을 결합하여 커리큘럼 구성에 적용하는 하이브리드 융합 전략을 제안한다.
• Transformer 기반 예측기를 사용한 다변량 시계열 예측에 DCCL을 적용하고 표준 벤치마크에서 평가한다.
• -One-Pass 및 Baby-Steps 학습 스케줄 하에서 비-CL, 손실만, 밀도만 커리큘럼과 비교한다.

제안 방법

• 데이터를 임베딩으로 매핑하는 표현 모델과 인스턴스를 점수화하는 난이도 측정기를 연결한 모듈식 CL 파이프라인을 구축한다.
• 학습된 표현 공간에서 밀도 추정(k-NN 밀도 또는 커널 밀도 추정)을 순수한 또는 하이브리드 난이도 신호로 사용한다.
• 예측 손실에서 계산된 손실 기반 난이도 점수를 대안 신호로 사용한다.
• 손실과 밀도 기준의 가중 합, 순위 가중 합, 2D 손실-밀도 계층화를 통해 K개의 커리큘럼 버킷을 생성하는 하이브리드 융합 전략을 제안한다.
• 난이도 측정의 효과를 고립하기 위해 학습 스케줄을 고정된 채로 유지한다(One-Pass 및 Baby-Steps).
• 표현 학습에 이어 커리큘럼 기반 학습을 적용하여 Transformer 예측기를 다섯 개의 다변량 시계열 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 손실 기반과 밀도 기반 난이도 신호를 결합하는 것이 두 가지 기준 중 하나만 사용할 때보다 시계열 예측에 더 강건한 커리큘럼을 만들어내는가?
• RQ2 예측 task에서 더 쉬운 인스턴스와 더 어려운 인스턴스를 반영하기 위해 표현 공간에서 밀도를 어떻게 추정해야 하는가?
• RQ3 Dual-criterion 전략을 사용할 때 One-Pass와 Baby-Steps 커리큘럼 간의 상대적 성능 trade-off는 무엇인가?
• RQ4 비-커리큘럼 학습과 비교했을 때 다양한 시간 도메인(에너지, 기상, 이동성 등)에서 하이브리드 커리큘럼이 일관되게 정확도를 향상시키는가?

주요 결과

데이터셋	평균 순위	비-커리큘럼	무작위	STL	손실 기반	k-NN	KDE	Convex-value	Convex-ranks	그리드
One-Pass • Electricity	5.00	0.486 b1 0.065	0.462 b1 0.059	0.604 b1 0.069	0.399 b1 0.026	0.532 b1 0.101	0.435 b1 0.042	0.502 b1 0.074	0.513 b1 0.025	0.505 b1 0.039
One-Pass • ETT	5.00	1.005 b1 0.085	1.004 b1 0.159	0.928 b1 0.137	1.051 b1 0.627	0.582 b1 0.159	0.830 b1 0.106	0.129 b1 0.015	0.267 b1 0.188	0.375 b1 0.108
One-Pass • ILI	5.00	0.865 b1 0.019	0.871 b1 0.043	0.932 b1 0.031	0.946 b1 0.040	1.092 b1 0.191	0.925 b1 0.034	0.862 b1 0.029	0.821 b1 0.021
One-Pass • Weather	5.00	0.201 b1 0.036	0.196 b1 0.060	0.226 b1 0.071	0.169 b1 0.025	0.169 b1 0.053	0.209 b1 0.023	0.470 b1 0.047	0.177 b1 0.026
One-Pass • Solar AL	5.00	0.080 b1 0.009	0.076 b1 0.007	0.082 b1 0.007	0.103 b1 0.006	0.186 b1 0.022	0.115 b1 0.024	0.074 b1 0.008	0.106 b1 0.018
One-Pass • Mean	-	-	-	-	-	-	-	-	-	-
Baby-Steps • Electricity	7.00	0.486 b1 0.065	0.505 b1 0.039	0.630 b1 0.098	0.532 b1 0.044	0.507 b1 0.035	0.492 b1 0.049	0.483 b1 0.047	0.513 b1 0.043	0.505 b1 0.064
Baby-Steps • ETT	5.00	1.005 b1 0.085	0.935 b1 0.123	0.914 b1 0.109	0.987 b1 0.132	0.556 b1 0.135	0.969 b1 0.145	0.298 b1 0.143	0.757 b1 0.332	0.847 b1 0.164
Baby-Steps • ILI	5.00	0.865 b1 0.019	0.805 b1 0.043	0.882 b1 0.021	0.831 b1 0.026	0.952 b1 0.110	0.921 b1 0.096	0.874 b1 0.104	0.714 b1 0.018	0.749 b1 0.032
Baby-Steps • Weather	5.00	0.201 b1 0.036	0.196 b1 0.060	0.031 b1 0.016	0.077 b1 0.069	0.029 b1 0.016	0.029 b1 0.008	0.038 b1 0.018	0.029 b1 0.016	0.029 b1 0.016
Baby-Steps • Solar AL	5.00	0.080 b1 0.009	0.069 b1 0.005	0.060 b1 0.007	0.066 b1 0.012	0.058 b1 0.007	0.069 b1 0.007	0.060 b1 0.012	0.058 b1 0.007	0.059 b1 0.007

• 하이브리드 전략(손실+밀도)이 데이터셋과 스케줄 전반에 걸쳐 가장 강한 집약적 성능을 달성한다.
• One-Pass 하에서 Grid 및 Convex-value 하이브리드 형식이 평균 순위에서 최상으로 나타나며; Baby-Steps에서는 Grid가 종종 최상위 평균 순위를 차지한다.
• 밀도 기반 신호가 특정 데이터셋(예: ILI 및 ETT)에서 손실 기반보다 성능이 앞선 경우가 있어 서로 보완적임을 지지한다.
• Baby-Steps는 일반적으로 쉬운 인스턴스에 대해 모델을 재노출시킴으로써 이득을 증대시키며 대형 데이터셋에서 계산적 트레이드오프가 다르게 나타난다.
• 순수 손실 기반 커리큘럼은 예열 모델의 보정이 불완전하면 오도될 수 있으며, 밀도 기반 커리큘럼은 학습 동역학을 간과할 수 있다; 융합이 이러한 이슈를 완화한다.