[논문 리뷰] FEAST: Fully Connected Expressive Attention for Spatial Transcriptomics

Taejin Jeong, Joohyeok Kim외 3명|arXiv (Cornell University)|2026. 03. 26.

Single-cell and spatial transcriptomics인용 수 0

한 줄 요약

FEAST는 음수 인식을 갖춘 주의(attention)와 오프-그리드(off-grid) 의사 스팟을 사용하여 조직을 완전 연결 그래프로 모델링하고, 전체 슬라이드 영상으로부터 공간 유전자 발현을 예측하며 최첨단 결과를 달성하고 해석 가능한 주의 맵을 제공합니다.

ABSTRACT

Spatial Transcriptomics (ST) provides spatially-resolved gene expression, offering crucial insights into tissue architecture and complex diseases. However, its prohibitive cost limits widespread adoption, leading to significant attention on inferring spatial gene expression from readily available whole slide images. While graph neural networks have been proposed to model interactions between tissue regions, their reliance on pre-defined sparse graphs prevents them from considering potentially interacting spot pairs, resulting in a structural limitation in capturing complex biological relationships. To address this, we propose FEAST (Fully connected Expressive Attention for Spatial Transcriptomics), an attention-based framework that models the tissue as a fully connected graph, enabling the consideration of all pairwise interactions. To better reflect biological interactions, we introduce negative-aware attention, which models both excitatory and inhibitory interactions, capturing essential negative relationships that standard attention often overlooks. Furthermore, to mitigate the information loss from truncated or ignored context in standard spot image extraction, we introduce an off-grid sampling strategy that gathers additional images from intermediate regions, allowing the model to capture a richer morphological context. Experiments on public ST datasets show that FEAST surpasses state-of-the-art methods in gene expression prediction while providing biologically plausible attention maps that clarify positive and negative interactions. Our code is available at https://github.com/starforTJ/ FEAST.

연구 동기 및 목표

• 공간 전사체학에서 희소 그래프가 아닌 모든 스팟 간의 상호작용을 모델링하여 유전자 발현 예측을 개선하려는 동기 부여.
• 음수 인식 주의(attention)를 갖춘 FEAST 프레임워크를 개발하여 긍정적·부정적 생물학적 관계를 포착합니다.
• 패치 기반 스팟 추출로 인한 정보 손실을 완화하기 위해 오프-그리드 샘플링과 계층적 주의 설계를 도입합니다.
• 해석 가능한 주의 맵을 제공하고 공개 ST 데이터셋에서 최첨단 베이스라인과의 성능을 검증합니다.

제안 방법

• 전체 스팟 쌍 간의 자기 주의(self-attention)를 통해 조직을 완전 연결 그래프로 모델링합니다.
• 양의 상호작용과 음의 상호작용을 모두 학습하는 음수 인식 주의(attention)를 도입합니다.
• 로컬 대 글로벌 상호작용을 각 어텐션 헤드에서 안내하기 위한 정적 위치 편향(static positional bias)을 통합합니다.
• 주변 맥락을 중간 형태로 포착하는 오프-그리드 샘플링으로 의사 스팟를 생성합니다.
• 증가된 스팟 수로 인한 계산 비용을 관리하기 위해 로컬(k-NN)과 글로벌 어텐션 블록의 2단계를 제시합니다.
• 평균 제곱 오차 손실로 학습하고 교차 검증 데이터셋에서 MSE, MAE, PCC로 평가합니다.

Figure 1 : Conceptual overview of our proposed framework, illustrating how it addresses key challenges of prior ST methods. Existing approaches are limited by sparse graphs that miss potential interactions, standard positive-only relationships in attention that omit inhibitory interactions, and spar

실험 결과

연구 질문

• RQ1 공간 전사체학에서 완전 연결 주의 메커니즘이 희소 그래프 GNN보다 모든 관련 스팟 간 상호작용을 더 잘 포착할 수 있는가?
• RQ2 음수 인식 주의(attention)와 오프-그리드 의사 스팟이 베이스라인보다 유전자 발현 예측과 해석 가능성을 향상시키는가?
• RQ3 로컬 및 글로벌 단계가 있는 계층적 주의가 성능과 계산 비용의 균형을 어떻게 달성하는가?
• RQ4 FEAST가 excitatory(흥분성)와 inhibitory(억제성) 상호작용을 구분하는 더 생물학적으로 그럴듯한 주의 맵을 생성하는가?

주요 결과

방법	ST-Net MSE	ST-Net MAE	ST-Net PCC	Her2ST MSE	Her2ST MAE	Her2ST PCC	SCC MSE	SCC MAE	SCC PCC
ResNet+FCN	0.1999	0.3448	0.5221	0.6623	0.6385	0.4629	0.6103	0.6290	0.4619
BLEEP	0.3756	0.4736	0.0784	0.7426	0.6591	0.2747	0.6079	0.6013	0.4176
HisToGene	0.3054	0.4336	0.1211	0.9452	0.7739	0.2062	0.3095	0.4367	0.1225
Hist2ST	0.3811	0.4822	0.1525	0.7843	0.7286	0.2479	1.0190	0.7639	0.3003
THItoGene	0.2925	0.4111	0.3666	0.8436	0.7069	0.3445	0.6798	0.6442	0.3897
TRIPLEX	0.1472	0.2943	0.2320	0.8982	0.6946	0.3927	0.4891	0.5356	0.5416
MERGE	0.1347	0.2834	0.6795	0.6422	0.6255	0.5037	0.5353	0.5838	0.5512
FEAST (Ours)	0.1177	0.2639	0.7155	0.5761	0.5782	0.5524	0.4501	0.5239	0.5811

• FEAST는 세 가지 ST 데이터셋에서 9개 평가 지표 중 7개에서 최첨단 성능을 달성했다.
• Her2ST에서 FEAST은 MSE 0.5761, PCC 0.5524를 달성하며 이전 최고치를 넘었다.
• SCC에서 FEAST은 PCC 0.5811로 평가된 방법 중 최고치를 기록했다.
• 정성적으로 FEAST는 양의 상호작용과 음의 상호작용을 구분하는 주의 맵을 생성한다.
• 오프-그리드 샘플링(의사 스팟)이 주변 맥락이 드문 경우 대상 스팟 예측을 크게 향상시킨다.
• bAlation(구체적 인 ablation)은 음수 인식 주의와 오프-그리드 샘플링이 성능 향상에 모두 기여함을 확인한다.

Figure 2 : The overall architecture of FEAST. The framework first extracts features and spot distance ( $\mathbf{B}_{h}$ ) from the input WSI. The features are then processed through $L$ stacked hierarchical attention layers. Each layer consists of two stages: (1) a FEAST Block applied to local $k$