[論文レビュー] A clinically motivated self-supervised approach for content-based image retrieval of CT liver images

Kristoffer Wickstrøm, Eirik Agnalt Østmo+4 more|arXiv (Cornell University)|Jul 11, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 4

ひとこと要約

本論文は、ヒューンズフィールド単位（HU）のクリッピングを用いて肝臓組織に焦点を当てることで、ドメイン知識を統合することにより、CT肝画像におけるコンテンツベース画像検索（CBIR）の性能と一般化能力を向上させる臨床的動機付けの自教師型学習フレームワークを提案する。本研究は、CBIRにおける表現学習の説明可能性分析を初めて実施し、臨床的に関連する特徴抽出と信頼性の向上を明らかにした。

ABSTRACT

Deep learning-based approaches for content-based image retrieval (CBIR) of CT liver images is an active field of research, but suffers from some critical limitations. First, they are heavily reliant on labeled data, which can be challenging and costly to acquire. Second, they lack transparency and explainability, which limits the trustworthiness of deep CBIR systems. We address these limitations by (1) proposing a self-supervised learning framework that incorporates domain-knowledge into the training procedure and (2) providing the first representation learning explainability analysis in the context of CBIR of CT liver images. Results demonstrate improved performance compared to the standard self-supervised approach across several metrics, as well as improved generalisation across datasets. Further, we conduct the first representation learning explainability analysis in the context of CBIR, which reveals new insights into the feature extraction process. Lastly, we perform a case study with cross-examination CBIR that demonstrates the usability of our proposed framework. We believe that our proposed framework could play a vital role in creating trustworthy deep CBIR systems that can successfully take advantage of unlabeled data.

研究の動機と目的

• 深層CBIRシステムがトレーニングに多数のラベル付きデータを必要とすることという顕著な制限を解消すること。
• ドメイン固有の知識を自己教師型学習に統合することで、異なるデータセット間でのモデル性能と一般化能力を向上させること。
• CT肝画像のCBIR文脈において、表現学習の説明可能性分析を初めて提供し、透明性と臨床的信頼性を向上させること。
• 患者スキャンのクロスエクзаменを含む実臨床シナリオにおいて、フレームワークの実用性を実証すること。
• 臨床的に関連する解剖的構造に焦点を当てた手法を設計することで、CBIRにおけるラベルなしデータの有効活用を可能にすること。

提案手法

• トレーニング中にCT画像から肝臓組織を分離するためにヒューンズフィールド単位（HU）クリッピングを適用する自己教師型学習フレームワークを提案し、非肝臓構造に起因するノイズを低減する。
• 肝臓関連領域の増幅されたビューをポジティブペアとして使用し、対照的学習を用いて、判別力があり臓器特異的な表現を学習する特徴抽出器を訓練する。
• 臨床的知識を統合するために、肝臓組織のHU範囲（一般的に40–120 HU）に特化したデータ拡張およびクリッピング戦略を設計し、特徴の関連性を向上させる。
• 学習された表現に影響を与える入力特徴を解釈するために、RELAXフレームワークを用いて表現学習の説明可能性を分析する。
• 対照的損失を用いてエンドツーエンドでモデルを訓練し、ポジティブペア間の類似度を最大化するとともに、ネガティブペア間の類似度を最小化する。
• 複数のデータセット、特にデータセット間一般化を含めた評価を通じて、フレームワークの頑健性と臨床的適用可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 肝臓組織のHU範囲（例：40–120 HU）といったドメイン固有の知識を活用する自己教師型学習フレームワークは、標準の自己教師型ベースラインと比較して、CT肝画像におけるCBIR性能を向上させることができるか？
• RQ2 本手法は、臨床現場における異なるデータセットやスキャンプロトコルにわたって、どのように一般化するか？
• RQ3 表現学習の説明可能性技術は、自己教師型CBIRモデルにおいて、臨床的に意味のある特徴をどの程度明らかにできるか？
• RQ4 クロスエクзаменの臨床シナリオ（例：時間経過に伴う肝転移の追跡）において、本フレームワークは診断的に関連する画像を効果的に検索できるか？
• RQ5 HUクリッピングによる肝臓特異的領域への焦点化は、CBIRにおいてより解釈可能で信頼性の高い表現をもたらすか？

主な発見

• 提案された自己教師型フレームワークは、標準の自己教師型ベースラインと比較して、複数の指標において優れた検索性能を達成しており、mAPやリCALLレートが向上している。
• 外部データセットでの評価において、本モデルはスキャンプロトコルや画像設定の変動に対しても優れた一般化能力を示しており、頑健性が確認された。
• RELAXを用いた表現学習の説明可能性分析により、モデルが肝臓内の臨床的に関連する解剖的・病理的パターンと整合した特徴を学習していることが明らかになった。
• クロスエクзаменのケーススタディにおいて、医師が選択したリファレンス画像と一致する画像をCBIRシステムが効果的に検索した。臨床的実用性が裏付けられた。
• レーダロジストの選択と類似する画像を検索できたが、順序付けに空間的整合性が欠けていたため、局所的文脈をモデル化することでさらなる改善が可能であると考えられる。
• HUベースのクリッピング統合により、関係のない解剖的構造が抑制され、より焦点が絞られ、意味のある表現が向上した。