[論文レビュー] CTformer: Convolution-free Token2Token Dilated Vision Transformer for Low-dose CT Denoising

Dayang Wang, Fenglei Fan+4 more|arXiv (Cornell University)|Feb 28, 2022

Medical Imaging Techniques and Applications被引用数 5

ひとこと要約

本稿では、畳み込みを排除し、アダプティブなトークン再配置と拡張された特徴マップを用いて長距離の文脈を強化する、低線量CT（LDCT）ノイズ除去のための畳み込みフリーでトークン同士の距離を考慮した視覚変換器、CTformerを提案する。本手法は、注意マップの可視化と動的フローフレーミングにより解釈性を向上させ、境界アーチファクトを低減する重複推論機構を採用することで、計算量を抑えつつ最先端の性能を達成している。

ABSTRACT

Low-dose computed tomography (LDCT) denoising is an important problem in CT research. Compared to the normal dose CT (NDCT), LDCT images are subjected to severe noise and artifacts. Recently in many studies, vision transformers have shown superior feature representation ability over convolutional neural networks (CNNs). However, unlike CNNs, the potential of vision transformers in LDCT denoising was little explored so far. To fill this gap, we propose a Convolution-free Token2Token Dilated Vision Transformer for low-dose CT denoising. The CTformer uses a more powerful token rearrangement to encompass local contextual information and thus avoids convolution. It also dilates and shifts feature maps to capture longer-range interaction. We interpret the CTformer by statically inspecting patterns of its internal attention maps and dynamically tracing the hierarchical attention flow with an explanatory graph. Furthermore, an overlapped inference mechanism is introduced to effectively eliminate the boundary artifacts that are common for encoder-decoder-based denoising models. Experimental results on Mayo LDCT dataset suggest that the CTformer outperforms the state-of-the-art denoising methods with a low computation overhead.

研究の動機と目的

• 低線量CT（LDCT）画像に顕著なノイズとアーチファクトが生じる問題に対処し、臨床的有用性を向上させること。
• 畳み込みニューラルネットワーク（CNN）が長距離依存性を捉えきれないという限界を克服し、純粋なビジョン変換器がLDCTノイズ除去において有効である可能性を検証すること。
• 臨床的信頼を得るため、注意マップの可視化と動的フローフレーミングを用いて、効果的かつ解釈可能なモデルを構築すること。
• エンコーダ・デコーダアーキテクチャで一般的に見られる境界アーチファクトを排除するため、重複推論機構を導入すること。
• 純粋な変換器アプローチが、ハイブリッドCNN-変換器モデルを上回る性能を発揮し、計算コストも低減できることを実証すること。

提案手法

• CTformerは畳み込み操作を置き換え、空間領域間でトークンを再配置することで、畳み込みを用いずに局所的・グローバルな特徴統合を強化する、トークン2トークン拡張（T2TD）ブロックを採用する。
• 受容 field を拡大し、長距離依存性を捉えるために、拡張およびシフトされた特徴マップを用いることで、文脈表現を向上させる。
• 層間でサイクリックシフトを用いた階層的自己注意メカニズムを採用し、動的でマルチスケールの特徴学習を可能にする。
• テスト時に重複する受容 field を許容することで、境界アーチファクトを軽減する重複推論戦略を導入する。
• 静的注意マップ解析と、TopKおよび局所的最大値（LM）グラフを用いた動的注意フローフレーミングにより、活性化伝播を可視化することで解釈性を実現する。
• モデルは、ノイズの強いLDCT画像を対応する通常線量CT（NDCT）画像に写像するため、再構成損失を用いてマヨLDCTデータセット上でエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 畳み込みを一切使用しない純粋なビジョン変換器アーキテクチャが、CNNベースやハイブリッドモデルを上回る性能を発揮できるか？
• RQ2 拡張およびシフトされた特徴マップを備えた提案されたT2TDブロックは、標準的なViTやSwin変換器設計と比較して、特徴表現をどのように向上させるか？
• RQ3 CTformerにおける自己注意マップは、臨床的信頼を得るためのモデル内部意思決定プロセスをどの程度解釈可能に明らかにできるか？
• RQ4 提案された重複推論機構は、オートエンコーダ型ノイズ除去モデルに一般的に見られる境界アーチファクトを効果的に低減できるか？
• RQ5 性能と学習効率の観点から、CTformerにおける最適な深さ（変換器ブロック数）は何か？

主な発見

• CTformerはマヨLDCTデータセット上で、SSIMが0.9121、RMSEが9.0233を達成し、最先端手法Solve-ViTをSSIMで0.0235点、RMSEで3.3362点上回った。
• 1つの変換器ブロックのみを有するモデルが最良の性能を示し、深層ネットワークではノイズ除去性能が向上せず、学習時間が著しく増加することが示された。
• T2TDブロックは特徴統合を向上させ、固定領域のトークン化と1つの畳み込みを用いるSole-ViTベースラインで見られるぼんやりとしたアーチファクトを低減した。
• サイクリックシフト操作を導入したことで、SSIMが0.0026点向上し、RMSEが0.1337点低下した。
• 注意マップの可視化により、一貫した動的フローが観察された：局所的最大値の活性化が複数の層にわたり同一の空間的位置に集中しており、ノイズ低減過程で構造的要素が一貫して共同活性化されていることが示された。
• TopKおよびLMグラフを用いた提案された解釈フレームワークは、階層的注意フローを効果的にトレースでき、モデルの潜在的挙動を視覚的かつ動的かつ理解可能にした。