[論文レビュー] TractOracle: towards an anatomically-informed reward function for RL-based tractography

Antoine Théberge, Maxime Descoteaux+1 more|arXiv (Cornell University)|Mar 26, 2024

Advanced Neuroimaging Techniques and ApplicationsMedicine被引用数 3

ひとこと要約

TractOracleは、トランスフォーマーに基づくストリームライン分類ネットワーク（TractOracle-Net）を介して解剖学的インフォームド報酬関数を統合する、革新的な強化学習（RL）ベースの tractography フレームワークを提案する。トラッキング中にストリームラインの妥当性をリアルタイムで評価することで、本システムは同時に正確な tractography をガイドし、誤検出を削減する。ベンチマークデータセットにおいて、最先端の手法と比較して最大20%高い真正陽性率と3倍少ない偽陽性を達成した。

ABSTRACT

Reinforcement learning (RL)-based tractography is a competitive alternative to machine learning and classical tractography algorithms due to its high anatomical accuracy obtained without the need for any annotated data. However, the reward functions so far used to train RL agents do not encapsulate anatomical knowledge which causes agents to generate spurious false positives tracts. In this paper, we propose a new RL tractography system, TractOracle, which relies on a reward network trained for streamline classification. This network is used both as a reward function during training as well as a mean for stopping the tracking process early and thus reduce the number of false positive streamlines. This makes our system a unique method that evaluates and reconstructs WM streamlines at the same time. We report an improvement of true positive ratios by almost 20\% and a reduction of 3x of false positive ratios on one dataset and an increase between 2x and 7x in the number true positive streamlines on another dataset.

研究の動機と目的

• 既存のRLベースの tractography 手法が解剖学的事前知識を欠いているため、偽陽性率が高くなるという限界を是正すること。
• リアルタイムでの解剖学的妥当性スコアリングを用いて、ストリームラインの評価と再構築を同時に実行する統合フレームワークの開発。
• 解剖学的知識を直接RL学習プロセスに統合することで、後処理によるフィルタリングに依存するのを減らすこと。
• 事前学習済みのストリームライン分類ネットワークを動的報酬およびストップ信号として活用することで、tractogram生成とセグメンテーションの精度を向上させること。
• 古典的および学習ベースの tractography ベースラインと比較して、in-silico および in-vivo データセットで優れた性能を達成すること。

提案手法

• トランスフォーマーに基づくニューラルネットワーク、TractOracle-Net を、ストリームラインの形状と軌道に基づいて解剖学的に妥当か否かを分類するように訓練する。
• RL学習中、TractOracle-Net はストリームラインがトラッキングされる過程で、連続的な解剖学的妥当性スコアを提供し、密なリアルタイム報酬信号として機能する。
• エージェントはこの報酬を用いて、解剖学的に正確なストリームライン経路を最適化し、「報酬ハッキング」や誤検出のストリームライン生成を最小限に抑える。
• 妥当性スコアがしきい値未満に下がると早期停止を実行し、解剖学的に不適切なストリームラインのトラッキングを防ぐ。
• トレーニング後も同じ TractOracle-Net モデルを用いて tractogram のセグメンテーションとフィルタリングを実行し、エンドツーエンドの解剖学的評価を可能にする。
• 標準的な tractography メトリクスおよび Recobundles や extractor_flow などのツールを用いて、in-silico（ISMRM2015）および in-vivo（TractoInferno）データセットでフレームワークをトレーニングおよび評価する。

(a)

実験結果

リサーチクエスチョン

• RQ1 アノテート済みのトレーニングデータを必要としない学習された解剖学的オラクルは、RLベースの tractography の精度を向上させるとともに、偽陽性を低減できるか？
• RQ2 トラッキング中にリアルタイムでストリームラインの妥当性スコアリングを実施することで、再構築された tractogram の品質はどの程度向上するか？
• RQ3 分類ネットワークを報酬関数および早期停止基準として統合することで、標準的なRLまたはフィルタリングパイプラインと比較して tractography の性能はどのように変化するか？
• RQ4 提案手法は、真正陽性率、偽陽性率、および解剖学的整合性の観点から、最先端の古典的および学習ベースの tractography 手法を上回ることができるか？
• RQ5 本システムは、従来の手法が見逃しがちな欠落または微細な白質経路の回復を保持または向上させることができるか？

主な発見

• ISMRM2015 in-silico データセットにおいて、TractOracleは22%の有効接続率を達成し、2番目に優れた手法と比較して20%の改善を示した。
• 同じデータセットにおいて、TractOracleは無効接続率と非接続率の両方を、2番目に優れた手法と比較して3倍低減した。
• TractoInferno in-vivo データセットにおいて、TractOracle-RL は TractOracle-Net によって妥当と分類された1億8435万5412本のストリームラインを生成した—これは sd_stream より7倍多く、Track-to-Learn より2倍多かった。
• 本手法は、以前に見逃されていた領域（例：cingulum の「尾部」、uncinate fasciculus の一部）を含む、優れたファンニングとカバレッジを持つ解剖学的に妥当なバンドルを再構築した。
• TractOracle-Net は TractoInferno テストスプリットで89.21%の精度を達成し、最先端のストリームライン分類モデルを上回った。
• より高いストリームライン数であっても、TractOracle は低いオーバlap-to-overreach比を維持しており、高い解剖学的特異性と低減した重複を示した。

(b)