[論文レビュー] Structure-Aware Set Transformers: Temporal and Variable-Type Attention Biases for Asynchronous Clinical Time Series

Joohyung Lee, Kwanhyung Lee+2 more|arXiv (Cornell University)|Feb 18, 2026

Machine Learning in Healthcare被引用数 0

ひとこと要約

STAR-Set Transformer は点集合 EHR エンコーダを時系列局所性と可変タイプ注意バイアスで強化し、 CPR、死亡率、血管作動薬要件タスクにおいてグリッドおよびセットのベースラインと比べて ICU 予測性能を向上させる。

ABSTRACT

Electronic health records (EHR) are irregular, asynchronous multivariate time series. As time-series foundation models increasingly tokenize events rather than discretizing time, the input layout becomes a key design choice. Grids expose time$ imes$variable structure but require imputation or missingness masks, risking error or sampling-policy shortcuts. Point-set tokenization avoids discretization but loses within-variable trajectories and time-local cross-variable context (Fig.1). We restore these priors in STructure-AwaRe (STAR) Set Transformer by adding parameter-efficient soft attention biases: a temporal locality penalty $-|Δt|/τ$ with learnable timescales and a variable-type affinity $B_{s_i,s_j}$ from a learned feature-compatibility matrix. We benchmark 10 depth-wise fusion schedules (Fig.2). On three ICU prediction tasks, STAR-Set achieves AUC/APR of 0.7158/0.0026 (CPR), 0.9164/0.2033 (mortality), and 0.8373/0.1258 (vasopressor use), outperforming regular-grid, event-time grid, and prior set baselines. Learned $τ$ and $B$ provide interpretable summaries of temporal context and variable interactions, offering a practical plug-in for context-informed time-series models.

研究の動機と目的

• 点集合 EHR エンコーダで格子様の帰納的構造を離散化せずに回復する方法を検討する。
• irregular な臨床時系列に対して、2つのパラメータ効率の良い注意バイアス（時系列と可変タイプ）を導入する。
• Transformer の深さにおけるどの層でバイアスを注入し、どの層統合スケジュールが性能を最適化するかを系統的に評価する。
• 格子、イベント時刻格子、および既存のセットベースベースラインよりも ICU タスクで予測性能が改善されることを示す。

提案手法

• EHR エピソードを不規則なイベント集合として表現し、トークンとして時刻、値、変数タイプを用いる。
• 加法的ソフト注意バイアス（時系列局所性ペナルティと学習可能な型適合性行列）を用いて Set Transformer を拡張する。
• 層ごとのバイアススケジュール（nb、tb、vb、vt）を定義し、4 層のエンコーダーで二段階の深さ融合を評価する。
• 注意ロジットに時刻距離ペナルティと型適合性項を付加し、キーに対して標準的な softmax を適用する。
• 最終 [CLS] トークンをエピソード表現として用いて BCE 損失で訓練する。
• モデルから抽出される学習可能な時間スケール（tau）と型親和性（B）を介して解釈性を提供する。

Figure 1: EHR input layouts and biasing set attention. (a) Irregular, asynchronous EHR events. Grid and sparse time $\times$ variable layouts (b,c) make within-variable trajectories (red) and time-local cross-variable relations (blue) explicit (sparse relies on missingness masks), whereas set tokeni

実験結果

リサーチクエスチョン

• RQ1 不規則な EHR 時系列において、時系列局所性と可変タイプ注意バイアスはベースラインと比較して性能を改善するか。
• RQ2 最適な予測向上のために、Transformer のどの深さの層でバイアスを注入すべきか。
• RQ3 学習可能な時間スケールと型適合性マトリクスは、時系列 context と変数間相互作用にどのような解釈可能な洞察を提供するか。
• RQ4 異なる層ごとのバイSススケジュールが下流の ICU タスク性能に及ぼす影響はどうなるか。

主な発見

• STAR-Set Transformer は CPR、死亡率、血管作動薬タスク全体で最良の総合性能を達成（AUC/APR: CPR 0.7158/0.0026; Mortality 0.9164/0.2033; Vasopressor 0.8373/0.1258）。
• 時系列バイアスが AUC の主要な推進力であり、tb-tb が強い改善をもたらす（特に CPR）。
• 可変タイプバイアスは単独使用で一貫したが小さな改善を提供し、組み合わせバイアス（vtb）はAPR の改善を力強く提供。
• 層別バイアススケジューリングは早い層でバイアスを注入し後段の層で維持することで利益を示し、vt-vt が全体として良好な性能を発揮。
• 学習された tau および B 行列は時系列文脈と変数相互作用の解釈可能な要約を提供する。

Figure 2: Layer-wise fusion strategies for soft attention biases in the set encoder. Each panel illustrates a bias schedule applied across Transformer encoder layers (stacked blocks from early/lower to late/upper) on top of the set embedder. We ablate no bias (nb), temporal bias (tb), variable-type