[論文レビュー] Topo-R1: Detecting Topological Anomalies via Vision-Language Models

Meilong Xu, Qingqiao Hu+7 more|arXiv (Cornell University)|Mar 13, 2026

Topological and Geometric Data Analysis被引用数 0

ひとこと要約

Topo-R1 は、強化学習を用いた特殊な複合報酬と自動化された多ドメイン異常注入ベンチマークを備えた、トポロジー認識型の視覚言語フレームワークを用いて、筒状構造のトポロジー誤りを検出・分類します。

ABSTRACT

Topological correctness is crucial for tubular structures such as blood vessels, nerve fibers, and road networks. Existing topology-preserving methods rely on domain-specific ground truth, which is costly and rarely transfers across domains. When deployed to a new domain without annotations, a key question arises: how can we detect topological anomalies without ground-truth supervision? We reframe this as topological anomaly detection, a structured visual reasoning task requiring a model to locate and classify topological errors in predicted segmentation masks. Vision-Language Models (VLMs) are natural candidates; however, we find that state-of-the-art VLMs perform nearly at random, lacking the fine-grained, topology-aware perception needed to identify sparse connectivity errors in dense structures. To bridge this gap, we develop an automated data-curation pipeline that synthesizes diverse topological anomalies with verifiable annotations across progressively difficult levels, thereby constructing the first large-scale, multi-domain benchmark for this task. We then introduce Topo-R1, a framework that endows VLMs with topology-aware perception via two-stage training: supervised fine-tuning followed by reinforcement learning with Group Relative Policy Optimization (GRPO). Central to our approach is a topology-aware composite reward that integrates type-aware Hungarian matching for structured error classification, spatial localization scoring, and a centerline Dice (clDice) reward that directly penalizes connectivity disruptions, thereby jointly incentivizing semantic precision and structural fidelity. Extensive experiments demonstrate that Topo-R1 establishes a new paradigm for annotation-free topological quality assessment, consistently outperforming general-purpose VLMs and supervised baselines across all evaluation protocols.

研究の動機と目的

• セグメンテーションマスク内のトポロジー誤りをドメインを超えて注釈なしで検出する動機付け（例：血管、道路）。
• 筒状ネットワークの構造誤りを特定・分類するトポロジー認識フ perception フレームワークを開発。
• 複数ドメインのトレーニングとベンチマーク用に検証可能なトポロジー異常を注入する自動データ作成パイプラインを作成。

提案手法

• トポロジー異常検出を、型付き境界ボックス出力を伴う構造化視覚推論としてフレーム化。
• 二段階トレーニング：教師ありファインチューニング（SFT）と、Group Relative Policy Optimization（GRPO）を用いた強化学習。
• トポロジー認識の複合報酬を設計（i）タイプ認識対応のHungarianマッチングによる誤分類、（ii）空間的局在スコアリング、（iii）中心線 Dice（clDice）ベースの報酬で連結性の保持を強調。
• 四つの異常タイプ（断続/不正接続、欠落/過剰分岐）を多ドメインのクロップに注入し、Betti数で変化を検証する自動データ作成パイプライン。
• 報酬計算前に、予測を ground truth に割り当てるためにタイプ認識付きの同一グループ内Hungarianマッチングを使用。
• ゼロショット、SFTのみ、Topo-R1 設定を複数の backbone VLMs およびベースラインで評価。

実験結果

リサーチクエスチョン

• RQ1 視覚と言語モデルを、ground-truth 監視なしで、筒状構造の希少で結合性に基づく誤りを検出するトポロジー認識へ付与できるか？
• RQ2 トポロジー特化の複合報酬を伴う二段階トレーニング（SFT + GRPO）が、ドメイン横断でトポロジー異常の検出・分類を改善するか？
• RQ3 自動化された跨ドメインデータ合成とトポロジー検証は、新しいドメインへの一般化にどの程度影響するか？
• RQ4 タイプ認識マッチングとclDiceベース報酬は、局在化と誤分類の性能にどのような影響を与えるか？

主な発見

• ゼロショットのVLMは、トポロジー異常検出でほぼランダムに近い性能を示す。
• 教師ありファインチューニングは、異常の分類taxonomyと基本的な局在化を教えることで基礎的な成果を提供する。
• トポロジー認識強化学習（GRPO）と複合報酬は、特に精度において backbone を跨いでSFTより一貫した利得をもたらす。
• Topo-R1 は Qwen3-VL-4B backbone で最大 45.2% F1@0.5 を達成し、同様の評価条件下でベースラインおよびクローズドソースモデルを上回る。
• アブレーション研究は、非線形で階層的な報酬とタイプ認識マッチングが、IoU レベルごとの F1 において生の IoU 報酬や線形閾値化を大きく上回ることを示した。