[論文レビュー] Brain Tumor Image Retrieval via Multitask Learning

Maxim Pisov, Gleb Makarchuk+4 more|arXiv (Cornell University)|Oct 22, 2018

Brain Tumor Detection and Classification参考文献 5被引用数 6

ひとこと要約

本稿では、共通の畳み込みニューラルネットワーク（CNN）バックボーンを用いて、MRIスキャンから腫瘍の種類、局在、セグメンテーションを同時に学習するマルチタスク深層学習フレームワークを提案する。異種のラベルで訓練することで、単一タスク手法を上回る豊富で多様な情報を持つ表現を生成し、バウンディングボックスの不正確さがあっても、埋め込み距離と腫瘍類似度の間に強い相関が見られることが示された。

ABSTRACT

Classification-based image retrieval systems are built by training convolutional neural networks (CNNs) on a relevant classification problem and using the distance in the resulting feature space as a similarity metric. However, in practical applications, it is often desirable to have representations which take into account several aspects of the data (e.g., brain tumor type and its localization). In our work, we extend the classification-based approach with multitask learning: we train a CNN on brain MRI scans with heterogeneous labels and implement a corresponding tumor image retrieval system. We validate our approach on brain tumor data which contains information about tumor types, shapes and localization. We show that our method allows us to build representations that contain more relevant information about tumors than single-task classification-based approaches.

研究の動機と目的

• 腫瘍の種類、形状、局在といった複数の特徴を捉える医療画像検索システムの開発を目的とする。
• 脳MRIにおける複雑な腫瘍類似度を捉えるために、単一タスク分類の限界を解決すること。
• マルチタスク学習が腫瘍検索のためのより情報豊かな表現を生成することを検証すること。
• 臨床現場で一般的に見られるバウンディングボックスの不正確さを想定した条件下でも、システムの頑健性を評価すること。

提案手法

• 3D U-Netに類似したCNNバックボーン（リサンプルブロックを備える）が、脳MRIスキャンから共有特徴を抽出する。
• バックボーンにタスク固有のヘッドを複数接続する：セグメンテーション（グローバル）用と、腫瘍種類および局在（局所、各腫瘍領域ごと）用のヘッド。
• すべてのタスクを同時に最適化する統合損失関数を用いて、エンドツーエンドでネットワークを訓練する。
• 最終特徴マップから腫瘍表現を抽出し、k-NNを用いた類似検索のための埋め込みとして使用する。
• 推論時にバウンディングボックスの摂動（スケーリングおよび平行移動）を適用し、入力の不正確さに対する頑健性をテストする。
• t-SNE可視化を用いて、腫瘍種類およびサイズによる表現のクラスタリングを定性的に評価する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習は、単一タスク分類と比較して、画像検索のための腫瘍表現の質を向上させることができるか？
• RQ2 学習された埋め込みは、臨床的に重要な腫瘍特徴（種類、サイズ、局在）とどの程度相関しているか？
• RQ3 臨床ワークフローでよく見られるように、バウンディングボックスが不正確な場合でも、検索システムは効果を保つことができるか？
• RQ4 モデルは、腫瘍種類や解剖的領域といった異種のメタデータを、1つの統合的表現で同時に捉えることができるか？

主な発見

• マルチタスクモデルは全タスクでバランスの取れた性能を示し、単一タスクベースラインを上回る表現の質と一般化性能を達成した。
• 学習済み埋め込みを用いたk-NNでは、K=5の条件下で腫瘍種類分類の正確度が85.7%に達し、線形サイズ回帰のRMSEは12.3 mmであった。
• 顕著なバウンディングボックス歪みに対しても性能はほぼ安定しており、正確度およびRMSEにわずかな低下しか見られず、入力ノイズに対する頑健性が示された。
• t-SNE可視化では、腫瘍埋め込みが種類およびサイズごとに明確にクラスタリングされており、左右片側の脳腫瘍（シュワンマ）が明確に分離されたグループを形成していた。
• 高次元表現（最大96チャネル）は性能向上に寄与したが、64チャネルが正確度と学習時間のバランスにおいて最良の妥協点を示した。
• 検索例では、異なる患者からの腫瘍であっても、類似した形態的特徴および局在を示す腫瘍が正しく検索された。