[論文レビュー] Architecture-Agnostic Curriculum Learning for Document Understanding: Empirical Evidence from Text-Only and Multimodal

Mohammed Hamdan, Dentamaro, Vincenzo+2 more|arXiv (Cornell University)|Feb 2, 2026

Topic Modeling被引用数 0

ひとこと要約

この研究は、テキストのみのBERTとマルチモーダルLayoutLMv3をFUNSDとCORDで対象に、カリキュラム学習の進行的データスケジューリング（33%→67%→100%）を評価し、一貫した計算量削減とアーキテクチャ依存の性能利得を示し、マッチド計算量分析で容量制約モデルに対する真のスケジューリング利得を明らかにします。

ABSTRACT

We investigate whether progressive data scheduling -- a curriculum learning strategy that incrementally increases training data exposure (33\%$ ightarrow$67\%$ ightarrow$100\%) -- yields consistent efficiency gains across architecturally distinct document understanding models. By evaluating BERT (text-only, 110M parameters) and LayoutLMv3 (multimodal, 126M parameters) on the FUNSD and CORD benchmarks, we establish that this schedule reduces wall-clock training time by approximately 33\%, commensurate with the reduction from 6.67 to 10.0 effective epoch-equivalents of data. To isolate curriculum effects from compute reduction, we introduce matched-compute baselines (Standard-7) that control for total gradient updates. On the FUNSD dataset, the curriculum significantly outperforms the matched-compute baseline for BERT ($Δ$F1 = +0.023, $p=0.022$, $d_z=3.83$), constituting evidence for a genuine scheduling benefit in capacity-constrained models. In contrast, no analogous benefit is observed for LayoutLMv3 ($p=0.621$), whose multimodal representations provide sufficient inductive bias. On the CORD dataset, all conditions converge to equivalent F1 scores ($\geq$0.947) irrespective of scheduling, indicating a performance ceiling. Schedule ablations comparing progressive, two-phase, reverse, and random pacing confirm that the efficiency gain derives from reduced data volume rather than ordering. Taken together, these findings demonstrate that progressive scheduling is a reliable compute-reduction strategy across model families, with curriculum-specific benefits contingent on the interaction between model capacity and task complexity.

研究の動機と目的

• 進行的データスケジューリングが、テキストのみとマルチモーダルの異なる文書理解モデルの両方で効率向上をもたらすかを評価する。
• 三段階のカリキュラムと標準トレーニングとの間で、ウォールクロックのトレーニング時間削減を定量化する。
• 標準化された7段階と比較したマッチド計算量ベースラインを用い、カリキュラム効果を計算更新の削減と分離する。
• 順序付けの重要性を評価するため、スケジュールのアブレーション（2段階、逆順、ランダム）を実施する。
• 実践的なトレーニングプロトコルを導くための、クロスアーキテクチャおよび統計的分析を提供する。

提案手法

• 全体10エポックで3段階の進行的データスケジュール（33% → 67% → 100%）を適用し、露出を6.67エポック相当にする。
• カリキュラム効果を低減するグラデント更新の削減と分離するため、マッチド計算量ベースライン（Standard-7）を使用する。
• FUNSDとCORDのベンチマークで、BERT-base（テキストのみ）とLayoutLMv3-base（マルチモダル）をseqevalによるエンティティレベルF1で比較する。
• 順序の重要性を評価するため、スケジュールアブレーション（2段階、逆順、ランダム）を実施する。
• 3つの種で効果量を示すコーエンのd_zを用いた対応の統計検定を報告する。
• フレームワークの一般性を検証するため、合成データを用いた拡張ドメイン評価を行う。

実験結果

リサーチクエスチョン

• RQ1 進行的データスケジューリングは、テキストのみおよびマルチモーダル文書理解モデルの両方でトレーニング時間を削減するか。
• RQ2 カリキュラムの利点は計算削減を超えて両アーキテクチャに現れるのか、それともアーキテクチャ依存か。
• RQ3 データの並び（33%→67%→100%）は単なるデータサブサンプリングを超えて特に有益か。
• RQ4 FUNSDとCORDの異なる文書理解タスクや拡張ドメインで、カリキュラムの性能はどう変動するか。

主な発見

Dataset	Architecture	Condition	Eff. Ep.	Final Loss	Entity F1	P / R	Time (s)	Speedup
FUNSD	BERT	Standard-10	10.0	0.508±0.013	0.562±0.009	0.514/0.620	53.7±0.2	–
FUNSD	BERT	Curriculum-10	6.67	0.635±0.031	0.543±0.009	0.496/0.600	35.8±0.1	33.3%
FUNSD	BERT	Standard-7	7.0	0.733±0.006	0.521±0.010	0.469/0.585	37.5±0.0	30.2%
FUNSD	LayoutLMv3	Standard-10	10.0	0.075±0.004	0.821±0.009	0.806/0.836	139.8±1.4	–
FUNSD	LayoutLMv3	Curriculum-10	6.67	0.193±0.009	0.807±0.003	0.781/0.833	92.5±0.7	33.9%
FUNSD	LayoutLMv3	Standard-7	7.0	0.166±0.011	0.803±0.007	0.785/0.823	97.0±0.3	30.6%
CORD	BERT	Standard-10	10.0	0.021±0.002	0.947±0.003	0.951/0.943	277.8±0.3	–
CORD	BERT	Curriculum-10	6.67	0.040±0.001	0.949±0.007	0.952/0.945	185.2±0.1	33.3%
CORD	BERT	Standard-7	7.0	0.041±0.002	0.948±0.003	0.952/0.945	194.5±0.2	30.0%
CORD	LayoutLMv3	Standard-10	10.0	0.025±0.003	0.955±0.003	0.958/0.952	838.9±6.9	–
CORD	LayoutLMv3	Curriculum-10	6.67	0.059±0.003	0.953±0.009	0.958/0.947	557.8±1.2	33.5%
CORD	LayoutLMv3	Standard-7	7.0	0.041±0.003	0.959±0.005	0.963/0.955	584.0±1.7	30.4%

• カリキュラム-10は、BERTとLayoutLMv3の両方で標準-10に対する壁時計トレーニング時間を約33%削減する。
• FUNSDでは、BERTに対してカリキュラム-10がStandard-7を上回る（ΔF1 = +0.023, p = 0.022, d_z = 3.83）。
• FUNSDではLayoutLMv3はStandard-7と比較してカリキュラム-10で有意なF1利得なし（p = 0.621）。
• CORDでは、すべての条件でスケジューリングに関係なくF1が同様に収束（≥0.947）し、性能上限を示唆。
• アーキテクチャを跨いで、カリキュラム-10による壁時計の高速化は約33.3%〜33.9%（平均約33.7%）。
• アブレーションでは、進行的・2段階・逆順・ランダムのいずれも約6.67エフェクティブエポックで有意差がなく、データ量が順序より効率を決めることを示唆。