[論文レビュー] Sketch-based Medical Image Retrieval

Kazuma Kobayashi, Lin Gu+13 more|arXiv (Cornell University)|Mar 7, 2023

Image Retrieval and Classification Techniques被引用数 6

ひとこと要約

本論文は、例画像を必要とせず、画像特徴を正常および異常成分に分解することで、臨床医が例画像を用いずに関連する医用画像を検索できるスケッチベース医用画像検索（SBMIR）システムを提案する。ユーザーは正常解剖構造のテンプレート画像を選択し、病変特徴をスケッチすることで、類似する症例をデータベースから検索するクエリベクトルに統合する。稀な症例や孤立症例に対しても高い精度を達成する。

ABSTRACT

The amount of medical images stored in hospitals is increasing faster than ever; however, utilizing the accumulated medical images has been limited. This is because existing content-based medical image retrieval (CBMIR) systems usually require example images to construct query vectors; nevertheless, example images cannot always be prepared. Besides, there can be images with rare characteristics that make it difficult to find similar example images, which we call isolated samples. Here, we introduce a novel sketch-based medical image retrieval (SBMIR) system that enables users to find images of interest without example images. The key idea lies in feature decomposition of medical images, whereby the entire feature of a medical image can be decomposed into and reconstructed from normal and abnormal features. By extending this idea, our SBMIR system provides an easy-to-use two-step graphical user interface: users first select a template image to specify a normal feature and then draw a semantic sketch of the disease on the template image to represent an abnormal feature. Subsequently, it integrates the two kinds of input to construct a query vector and retrieves reference images with the closest reference vectors. Using two datasets, ten healthcare professionals with various clinical backgrounds participated in the user test for evaluation. As a result, our SBMIR system enabled users to overcome previous challenges, including image retrieval based on fine-grained image characteristics, image retrieval without example images, and image retrieval for isolated samples. Our SBMIR system achieves flexible medical image retrieval on demand, thereby expanding the utility of medical image databases.

研究の動機と目的

• クエリ作成に例画像を必要とする従来のコンテンツベース医用画像検索（CBMIR）システムの制限を解消すること。
• 類似例が存在しない稀な特徴（例：まれな腫瘍の形態や場所）を有する画像の検索における課題を克服すること。
• 診断補助の分野で特に有用な、直感的なスケッチ入力を用いた柔軟でオンデマンドの画像検索を可能にすること。
• 正常な解剖的特徴と病理的異常特徴を分離することで、正確で意味的に意味のあるクエリ作成を支援するシステムの開発。
• 神経膠腫および肺がんを対象とした多様な臨床状況において、医療専門家を対象とした実世界のユーザーテストを通じて、システムの使いやすさと有効性を評価すること。

提案手法

• 医用画像の潜在表現を正常解剖的コード（AC）と異常特徴成分に分離する特徴分解フレームワークを提案する。
• 正常ACにガウス事前分布を適用した変分オートエンコーダ（VAE）を訓練し、分離され、意味的に整理された潜在空間を確保する。
• テンプレート画像を用いて正常解剖構造をエンコードし、クエリの基準として固定する。
• ユーザーが腫瘍の形状や浮腫などの病変特徴をテンプレート画像にスケッチし、それらを異常特徴としてエンコードする。
• 正常ACとスケッチから得られる異常特徴を統合し、参照画像データベースにおける類似性検索用の統一クエリベクトルを生成する。
• クエリベクトルと参照ベクトル間のL2距離に基づく最近傍探索を用いて参照画像を検索し、nDCGおよびKLダイバージェンスを用いて関連性を評価する。

実験結果

リサーチクエスチョン

• RQ1 例画像を必要としないスケッチベース医用画像検索システムは、関連する画像を効果的に検索できるか？
• RQ2 類似例が存在しない微細または稀な病理的特徴を有する画像の検索において、このシステムはどの程度の性能を示すか？
• RQ3 正常および異常成分への特徴分解は、検索精度とユーザーの柔軟性をどの程度向上させるか？
• RQ4 従来の例画像ベース検索と比較して、臨床医はスケッチベースクエリの使いやすさと臨床的妥当性をどのように評価するか？
• RQ5 本システムは、学習データに存在しない独自またはまれな特徴を有する孤立症例の検索をサポートできるか？

主な発見

• SBMIRシステムは、例画像を必要とせず関連する医用画像を効果的に検索でき、従来のCBMIRシステムの主な制限を克服した。
• ユーザーテストにおいて、多様な臨床的背景を持つ10名の医療専門家が、標準症例、記述的クエリ、孤立した稀症例の3つのテストシナリオにおいて高い検索精度を達成した。
• 腫瘍の大きさ、場所、浮腫の広がりなど、微細な特徴を有する画像の検索において、臨床的記述による検証を通じて優れた性能を示した。
• 学習データに存在しない独自の特徴を有する孤立症例（例：まれな病変）に対しても、高い検索関連性を維持しており、稀なまたは新規の臨床像に対しても頑健であることが示された。
• テンプレート選択とスケッチ入力の2段階インターフェースは、臨床医から直感的で効果的であると評価され、正確で柔軟なクエリ作成を可能にした。
• nDCGおよびKLダイバージェンスを用いた定量的評価により、特徴分解によるクエリベクトルが、医療専門家の記述の意味的意図を的確に反映していることが確認された。