[論文レビュー] Graph In-Context Operator Networks for Generalizable Spatiotemporal Prediction

Chenghan Wu, Zongmin Yu+2 more|arXiv (Cornell University)|Mar 13, 2026

Advanced Graph Neural Networks被引用数 0

ひとこと要約

GICON はグラフニューラルネットワークとインコンテキスト演算子学習を組み合わせ、文脈的な例から複数の時空演算子を推定・適用することで、重みの更新なしに不規則な幾何と異なる例数に対して一般化を実現します。

ABSTRACT

In-context operator learning enables neural networks to infer solution operators from contextual examples without weight updates. While prior work has demonstrated the effectiveness of this paradigm in leveraging vast datasets, a systematic comparison against single-operator learning using identical training data has been absent. We address this gap through controlled experiments comparing in-context operator learning against classical operator learning (single-operator models trained without contextual examples), under the same training steps and dataset. To enable this investigation on real-world spatiotemporal systems, we propose GICON (Graph In-Context Operator Network), combining graph message passing for geometric generalization with example-aware positional encoding for cardinality generalization. Experiments on air quality prediction across two Chinese regions show that in-context operator learning outperforms classical operator learning on complex tasks, generalizing across spatial domains and scaling robustly from few training examples to 100 at inference.

研究の動機と目的

• 同一の訓練データとステップ数の下で、インコンテキスト演算子学習と古典的な単一演算子学習を公正かつ統制された比較で評価する。
• グラフベースの表現を用いて不規則な空間領域を扱うよう GICON を開発する。
• 推論時に異なる数のインコンテキスト例を活用できるように頑健なカーディナリティ一般化を実現する。
• 実世界の時空データに対する幾何的一般化とドメイン横断転移を示す。
• 演算子の多様性が複雑なタスクや外挿能力において性能を向上させることを示す。

提案手法

• 空間領域をグラフとして表現し、不規則な幾何を扱えるようにする。
• 空間更新にはグラフメッセージパッシングを、例の系列にわたるインコンテキスト学習にはノードごとのトランスフォーマーを用いる。
• 例とキー/値を区別する例認識型の位置エンコーディングを導入し、カーディナリティ一般化を可能にする。
• リトリーブ手順（FAISS）を組み込み、プールから文脈的に関連する過去の例を選択する。
• 複数の演算子（Δt 値）で訓練し、単一フォワードで0〜多の文脈シナリオを評価して性能を評価する。
• 文脈例の数が異なる場合でも効率的な訓練を可能にする因果的アテンションマスクを提供する。

実験結果

リサーチクエスチョン

• RQ1 同じデータとステップ数で訓練した場合、インコンテキスト演算子学習は古典的な単一演算子学習を上回るか？
• RQ2 グラフベースのインコンテキスト演算子は、不規則なサンプリングを伴う異なる空間幾何や領域に一般化できるか？
• RQ3 推論時に少数（0–5）から多数（最大100）までの文脈例のカーディナリティはどれくらい一般化するか？
• RQ4 演算子の多様性は、単一演算子モデルと比べて未知の演算子への外挿やロバスト性を改善するか？
• RQ5 実世界の時空タスクに対する地域横断転移がインコンテキスト演算子学習に与える影響は何か？

主な発見

• 演算子の多様性を備えたインコンテキスト演算子学習は、同じ訓練プロトコル下で複雑なタスクにおいて古典的な単一演算子学習を上回る。
• 同じ地域の訓練モデルが異なるグラフ構造を持つ別地域にも一般化し、幾何的一般化を示す。
• カーディナリティ一般化は頑健であり、最大100例の評価でも最大5例の訓練でうまく機能する。
• 演算子多様性を持つ ICON は、Δt=48 h のような未知の演算子への外挿を単一演算子ベースラインより改善する。
• 単一演算子モデルでもインコンテキスト例の恩恵を受けることがあるが、頑健な性能には演算子多様性が重要である。