[論文レビュー] Encoding Structure-Texture Relation with P-Net for Anomaly Detection in Retinal Images

Kang Zhou, Yuting Xiao+7 more|arXiv (Cornell University)|Aug 9, 2020

Retinal Imaging and Analysis参考文献 42被引用数 21

ひとこと要約

本稿では、正常な網膜画像における構造的・テクスチャ的関係を活用する、網膜画像の異常検出を目的とした新しい深層学習フレームワーク、P-Netを提案する。まず、血管のトポロジーなどの構造的特徴を抽出し、それらを深層テクスチャ特徴と統合して元の画像を再構築する。P-Netは、元の画像と再構築画像の構造的差分を異常度の主要指標として用い、RESCおよびiSeeデータセットでそれぞれ平均AUC 0.965および0.958という最先端の性能を達成した。

ABSTRACT

Anomaly detection in retinal image refers to the identification of abnormality caused by various retinal diseases/lesions, by only leveraging normal images in training phase. Normal images from healthy subjects often have regular structures (e.g., the structured blood vessels in the fundus image, or structured anatomy in optical coherence tomography image). On the contrary, the diseases and lesions often destroy these structures. Motivated by this, we propose to leverage the relation between the image texture and structure to design a deep neural network for anomaly detection. Specifically, we first extract the structure of the retinal images, then we combine both the structure features and the last layer features extracted from original health image to reconstruct the original input healthy image. The image feature provides the texture information and guarantees the uniqueness of the image recovered from the structure. In the end, we further utilize the reconstructed image to extract the structure and measure the difference between structure extracted from original and the reconstructed image. On the one hand, minimizing the reconstruction difference behaves like a regularizer to guarantee that the image is corrected reconstructed. On the other hand, such structure difference can also be used as a metric for normality measurement. The whole network is termed as P-Net because it has a ``P'' shape. Extensive experiments on RESC dataset and iSee dataset validate the effectiveness of our approach for anomaly detection in retinal images. Further, our method also generalizes well to novel class discovery in retinal images and anomaly detection in real-world images.

研究の動機と目的

• 病変データよりも入手が容易な正常データのみを用いた網膜画像における異常検出の課題に取り組むこと。
• 臨床的知見である、網膜疾患は規則的な解剖的構造（例：血管、層構造）を破壊するが、正常画像では強い構造的規則性を示すという事実を活用すること。
• 画像のテクスチャと構造的レイアウトの間の相互作用を明示的にモデル化することで、それらを独立に扱うのではなく、異常検出の性能を向上させること。
• 網膜画像に限らず、新規クラス発見や実世界の画像における異常検出へも汎用性を持つ手法を開発すること。

提案手法

• エッジベースまたはトポロジーに配慮した特徴を用いて、正常網膜画像 I から構造的表現 S を抽出する構造抽出ネットワーク G_s を訓練する。
• 抽出された構造 S と元の画像 I からの高レベル特徴表現を統合し、生成的デコーダーを介して入力画像 Î を再構築する。
• 再構築プロセスにより、元の画像と再構築画像の整合性が保たれ、ピxlsレベルおよび特徴レベルの再構築誤差が最小化される。
• 再構築画像 Î から再び構造を抽出することで Ŝ を得られ、S と Ŝ の構造的差分が主要な異常指標として計算される。
• 最終的な異常スコアは、画像再構築誤差と構造的一致性誤差を組み合わせ、検出の正確性を高める二重正則化機構を形成する。
• 全体のアーキテクチャは「P」に似ており、構造ブランチが縦の幹、再構築経路が横のバーを形成するため、P-Netと名付けられた。

実験結果

リサーチクエスチョン

• RQ1 画像のテクスチャと構造の関係をモデル化することで、網膜画像における異常検出性能が向上するか？
• RQ2 血管トポロジーなどの構造的事前知識を統合することで、再構築の正確性と異常検出のロバスト性が向上するか？
• RQ3 再構築誤差と組み合わせた、元の画像と再構築画像間の構造的一致性誤差が、信頼性のある異常指標として機能するか？
• RQ4 P-Netは、以前に観測されていなかった疾患タイプを示す異常を含む新規クラス発見に一般化可能か？
• RQ5 P-Netは、ゼロショット異常検出において、既存のSOTA手法と比較して実世界の画像データセットでも優れた性能を示すか？

主な発見

• P-NetはRESCデータセットで平均AUC 0.965を達成し、AE (SSIM)、AnoGAN、TIなどのベースライン手法を顕著に上回る最先端の性能を示した。
• iSeeデータセットでは平均AUC 0.958を達成し、多様な網膜疾患タイプや画像モalityにわたる強力な一般化性能を示した。
• 物体に類似した画像（例：カプセル、ボルト、ジッパー）では、構造的エッジが意味のある形状に対応しており、平均異常領域オーバーラップが0.89に達した。
• 織り目やグリッド、レザーなどのテクスチャに類似した画像では、エッジ密度が高くノイズが多いことが原因で、正確な構造抽出が困難となり、性能が低下した。
• アブレーションスタディにより、再構築誤差と構造的一致性誤差の両方を組み合わせることで、単独で使用する場合よりも優れた異常検出性能が得られることを確認した。
• P-Netは新規クラス発見に対しても良好に一般化でき、補足実験でその妥当性が裏付けられており、以前に観測されていなかった異常パターンに対してもロバストであることが示された。