[論文レビュー] DATR: Domain-adaptive transformer for multi-domain landmark detection

Heqin Zhu, Qingsong Yao+1 more|arXiv (Cornell University)|Mar 12, 2022

Medical Imaging and Analysis被引用数 5

ひとこと要約

本稿では、頭部、手、胸部レントゲン画像を対象としたユニバーサルなマルチドメイン解剖学的ランドマーク検出のための、最初のドメイン適応型トランスフォーマーモデルであるDATRを提案する。スウィントランスフォーマーエンコーダーにドメイン適応型自己注意機構と軽量なガイダンスネットワークを統合することで、DATRは最先端の性能を達成し、混合データセット上での平均登録誤差を1.47pxまで低減し、従来のCNNベースのモデルを顕著に上回った。

ABSTRACT

Accurate anatomical landmark detection plays an increasingly vital role in medical image analysis. Although existing methods achieve satisfying performance, they are mostly based on CNN and specialized for a single domain say associated with a particular anatomical region. In this work, we propose a universal model for multi-domain landmark detection by taking advantage of transformer for modeling long dependencies and develop a domain-adaptive transformer model, named as DATR, which is trained on multiple mixed datasets from different anatomies and capable of detecting landmarks of any image from those anatomies. The proposed DATR exhibits three primary features: (i) It is the first universal model which introduces transformer as an encoder for multi-anatomy landmark detection; (ii) We design a domain-adaptive transformer for anatomy-aware landmark detection, which can be effectively extended to any other transformer network; (iii) Following previous studies, we employ a light-weighted guidance network, which encourages the transformer network to detect more accurate landmarks. We carry out experiments on three widely used X-ray datasets for landmark detection, which have 1,588 images and 62 landmarks in total, including three different anatomies (head, hand, and chest). Experimental results demonstrate that our proposed DATR achieves state-of-the-art performances by most metrics and behaves much better than any previous convolution-based models. The code will be released publicly.

研究の動機と目的

• ドメイン固有の再訓練を必要とせずに、頭部、手、胸部などの複数の解剖的ドメインをカバーするユニバーサルなモデルの開発。
• マルチドメインランドマーク検出における長距離の文脈的モデリングを可能にするトランスフォーマーの活用により、単一ドメインのCNNベースのモデルの限界を克服すること。
• 多様な解剖的領域にわたる共有特徴とドメイン固有の特徴学習を可能にするドメイン適応型トランスフォーマーブロックの設計。
• 粗いが明確なランドマークの監視を提供する軽量なガイダンスネットワークにより、検出精度の向上を図ること。
• 骨盤のような未学習ドメインへのゼロショット転送の有効性を検証すること。

提案手法

• モデルはスウィントランスフォーマーブロックに基づくトランスフォーマー型エンコーダーを採用し、ドメイン適応型自己注意機構（MSA_Q^d）を統合してドメイン間の関係をモデル化する。
• ドメイン適応型トランスフォーマーブロック（DAT）は、ドメイン共有およびドメイン固有のパラメータを統合し、共有知識の抽出とドメイン固有的な適応を可能にする。
• デコーダーは標準的な畳み込みの代わりにチャネルワイドおよびポイントワイド演算を用いるドメイン適応型畳み込み（DAC）を採用し、複数ドメインへの対応を実現する。
• 5つの拡張畳み込みと1×1畳み込みを備えたガイダンスネットワークが、粗いヒートマップを生成し、本トランスフォーマーネットワークのより正確なランドマーク予測を促進する。
• モデルは、頭部、手、胸部レントゲン画像の混合データセット上でエンドツーエンドに訓練され、新しいドメインでの推論時にドメイン固有パラメータが微調整される。
• 転移学習の評価は、ドメイン共有パラメータを固定し、新規の骨盤データセット用にドメイン固有のレイヤーを追加することで実施される。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー型アーキテクチャは、従来のCNNベースのモデルに比べ、複数の解剖的ドメインにおいて優れたランドマーク検出性能を達成できるか？
• RQ2 トランスフォーマーエンコーダーにおけるドメイン適応型自己注意機構は、マルチドメインランドマーク検出の特徴学習を向上させるか？
• RQ3 混合データセットで学習した単一のユニバーサルモデルは、骨盤のような未学習の解剖的ドメインに対しても効果的に一般化できるか？
• RQ4 マルチドメイン事前学習は、単一ドメイン学習と比較して、個々のドメインにおける性能にどのように影響を与えるか？
• RQ5 強力な監視信号が欠如する状況下で、ガイダンスネットワークは検出精度をどの程度向上させるか？

主な発見

• DATRは、頭部＋手＋胸部の統合データセット上での平均登録誤差（MRE）を1.47pxまで低減し、ベースライントランスフォーマーの2.62pxと比べ顕著な改善を示した。
• 頭部データセットでは、SDF<3pxが78.07%に達し、単一ドメインベースラインを上回り、優れた一般化性能を示した。
• 新規の骨盤データセットで微調整した結果、ドメイン適応型トランスフォーマーはMREをベースラインの5.64pxから4.12pxまで低減した。ドメイン適応の有効性が裏付けられた。
• マルチドメイン学習は全ドメインで一貫して性能を向上させ、3ドメインモデルが全テストセットで最良のMREおよびSDRスコアを達成した。
• アブレーションスタディの結果、ドメイン適応型自己注意機構と対角行列適応（D^d）の両方が性能向上に顕著な寄与を示し、完全なモデルがすべての変種を上回った。
• 可視化結果から、予測ランドマーク（赤）が、特に手や胸部のような複雑な構造において、アノテート済みランドマーク（緑）とよく一致していることが確認された。