[論文レビュー] Registration of Histopathogy Images Using Structural Information From Fine Grained Feature Maps

Dwarikanath Mahapatra|arXiv (Cornell University)|Jul 4, 2020

AI in cancer detection参考文献 113被引用数 9

ひとこと要約

本論文は、事前に訓練されたセグメンテーションネットワークから得られる特徴マップの詳細な構造的情報を活用することで、手動によるアノテーションを必要とせずにヒストパスロジー画像のアライメントを向上させる自己教師あり手法を提案する。この手法は、クラスタリングに基づく疑似セグメンテーションマップを損失関数に組み込み、アライメント精度を向上させる。訓練時および推論時においても真値セグメンテーションラベルを必要とせず、最先端の性能を達成する。

ABSTRACT

Registration is an important part of many clinical workflows and factually, including information of structures of interest improves registration performance. We propose a novel approach of combining segmentation information in a registration framework using self supervised segmentation feature maps extracted using a pre-trained segmentation network followed by clustering. Using self supervised feature maps enables us to use segmentation information despite the unavailability of manual segmentations. Experimental results show our approach effectively replaces manual segmentation maps and demonstrate the possibility of obtaining state of the art registration performance in real world cases where manual segmentation maps are unavailable.

研究の動機と目的

• 手動セグメンテーションアノテーションが利用できない状況における正確なヒストパスロジー画像アライメントの課題に対処すること。
• 教師ありセグメンテーションに依存せずに、深層特徴からの構造的情報を統合することでアライメント性能を向上させること。
• 手動ラベリングが現実的でない臨床現場での実用的導入を可能にすること。
• 自己教師あり特徴マップが、アライメントフレームワークにおいて真値セグメンテーションマップに効果的に代わることを示すこと。

提案手法

• 事前に訓練されたセマンティックセグメンテーションネットワークを用いて、基準画像および浮動画像から自己教師あり特徴マップを抽出する。
• 特徴マップにクラスタリング（例：k-means）を適用し、関心領域の構造を表現する疑似セグメンテーションマップを生成する。
• これらの疑似セグメンテーションマップ間の構造的類似度をアライメント損失関数に統合し、変形場の学習をガイドする。
• 元の画像と疑似セグメンテーションマップをU-Netベースのネットワークに供給し、密な変形場を予測する。
• 空間変換ネットワーク（STN）を用いて変形場を適用し、浮動画像を基準画像にアライメントさせる。
• 標準的な画像類似度損失と、クラスタリングされた特徴マップに基づく構造的類似度損失を組み合わせた損失関数を用いて、ネットワークをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり特徴マップは、ヒストパスロジー画像アライメントにおいて手動セグメンテーションマップに効果的に代わることができるか？
• RQ2 詳細な特徴マップからの構造的情報を統合することで、真値ラベルが存在しない状況でもアライメント精度がどのように向上するか？
• RQ3 本手法は、手動アノテーションを一切必要としない状況で、従来のアライメントベースラインをどの程度上回るか？
• RQ4 自己教師あり特徴のクラスタリングによって、正確な画像アライメントを導く意味のある疑似構造が生成可能か？

主な発見

• 本手法は、いかなる手動セグメンテーションアノテーションを必要とせず、ヒストパスロジー画像ペアにおいて最先端のアライメント性能を達成した。
• クラスタリングを施した自己教師あり特徴マップの使用は、単に画像強度類似度に依存するベースライン手法と比較して、顕著にアライメント精度を向上させた。
• クラスタリングされた特徴マップに基づく構造的類似度損失は、複雑なテクスチャや繰り返しパターンを有する領域においてもアライメントを改善した。
• 本手法は、新しい画像に対して良好な汎化性能を示した。これは、事前訓練済みセグメンテーションネットワークの利用に依存しており、新規データに対する再訓練を必要としないためである。
• 本手法は、膨大なハイパーパrameterチューニングや反復的最適化に依存しないため、従来のアライメント技術と比較してより高速な推論を実現した。
• 実験結果から、自己教師あり特徴マップが、正確な弾性変形推定を導くのに十分な構造的情報を捉えていることが示された。