[論文レビュー] SigVLP: Sigmoid Volume-Language Pre-Training for Self-Supervised CT-Volume Adaptive Representation Learning

Jiayi Wang, Hadrien Reynaud+5 more|arXiv (Cornell University)|Feb 25, 2026

COVID-19 diagnosis using AI被引用数 0

ひとこと要約

SigVLP はチャンク状のボリュームと RoPE を用いて 3D CT 視覚と言語モデルを訓練し、リサンプリングなしで細粒度のテキスト–体積整列と優れた下流性能を実現します。

ABSTRACT

Large-scale, volumetric medical imaging datasets typically aggregate scans from different vendors and devices, resulting in highly variable resolution, slice thicknesses, and numbers of slices per study. Consequently, training representation models usually requires cropping or interpolating along the z-axis to obtain fixed-size blocks, which inevitably causes information loss. We propose a new training approach to overcome this limitation. Instead of absolute position embeddings, we interpret volumes as sequences of 3D chunks and adopt Rotary Position Embeddings, allowing us to treat the z-axis as an unconstrained temporal dimensions. Building on this idea, we introduce a new vision-language model: SigVLP. In SigVLP, we implement Rotary Position Embedding as the positional encoding method, which is applied directly within the attention operation, generating input-conditioned sine and cosine weights on the fly. This design ensures consistent alignment between query and key projections and adapts to any input sizes. To allow for variable input size during training, we sample Computed Tomography volumes in chunks and pair them with localized organ-wise textual observations. Compared to using entire reports for conditioning, chunkwise alignment provides finer-grained supervision, enabling the model to establish stronger correlations between the text and volume representations, thereby improving the precision of text-to-volume alignment. Our models are trained with the Muon optimizer and evaluated on a diverse set of downstream tasks, including zero-shot abnormality and organ classification, segmentation, and retrieval tasks.

研究の動機と目的

• デバイスとプロトコルを超えて体積的医療データの頑健で普遍的な埋め込みを学習させ、z軸情報を失わないことを動機づける。
• サブボリューム観察を臓器特異的放射線所見と整列させる、チャンク状で臓器を意識した事前学習戦略を開発する。
• Rotary Position Embeddings を用いて可変入力サイズに対応し、固定長 z軸制約を排除する。
• CT-RATE 3D CT データセットで事前学習を行い、レポートから抽出した臓器別観察を公開して体積 VLP をスケールさせる。

提案手法

• 3D CT ボリュームを z 軸でのリサンプリングを避けるために 3D チャンクの系列として扱う。
• 注意機構内で直接 RoPE（Rotary Position Embedding）を適用し、動的入力長を可能にする。
• レポートを臓器別所見に分解する軽量 LLM 支援パイプラインを用いて、オンザフライの臓器別テキスト監督を構築する。
• Muon オプティマイザを用いて、可変長入力とチャンクベース監督に対する安定性を確保して訓練する。
• ゼロショットの異常性分類、臓器分割、リニアプロービング、テキスト–画像検索で VLM 整列を評価する。

実験結果

リサーチクエスチョン

• RQ1 チャンク状で臓器を意識した監督は、3D CT データの全ボリューム条件付けよりテキスト–体積整列を改善できるか。
• RQ2 RoPE は事前学習中にリサンプリングなしで可変長 CT ボリュームを堅牢に扱えるか。
• RQ3 CT ボリューム VLP 表現は、CT 専用ベースラインと比較してゼロショットの異常性分類、分割、検索でどの程度良く機能するか。
• RQ4 臓器別観察のオンザフライ生成は解剖学のファインチャネルな多モーダル理解を高めるか。

主な発見

• SigVLP は CT ボリュームから放射線レポートへの検索で、ベースライン（CT-Clip）に対して MeanRank が 8.23 対 26.01 という大幅な改善を達成。
• リニアプローブ分類と分割は、臓器とタスクを通じてベースラインと比べ競合的または優れた性能を示し、小〜中規模構造体で顕著な改善が見られる。
• 埋め込みは初期の色分離から長期間の訓練（234,930 ステップ）後に滑らかな構造的空間へと進化し、豊かな構成表現を示す。
• チャンク状・臓器整列監督は全体ボリューム条件付けより局在化タスクの精度を高める。
• RoPE に基づくモデリングは可変長入力をほとんどオーバーヘッドなく実現し、表現の体積的一貫性を向上させる。