[論文レビュー] Duplex Contextual Relation Network for Polyp Segmentation

Zijin Yin, Kongming Liang+2 more|arXiv (Cornell University)|Mar 11, 2021

Colorectal Cancer Screening and Detection被引用数 9

ひとこと要約

本稿では、二重アテンションモジュールと領域ベースのエピソード的メモリを用いて、画像内および画像間の文脈的関係を捉える、新しい深層学習フレームワークであるDuplex Contextual Relation Network (DCRNet)を提案する。本手法は、EndoScene、Kvasir-SEG、PICCOLOで最先端の性能を達成し、PICCOLOでは53 FPSの推論速度と85.13%のDiceスコアを記録し、臨床的導入に向けた優れた精度と効率性を示している。

ABSTRACT

Polyp segmentation is of great importance in the early diagnosis and treatment of colorectal cancer. Since polyps vary in their shape, size, color, and texture, accurate polyp segmentation is very challenging. One promising way to mitigate the diversity of polyps is to model the contextual relation for each pixel such as using attention mechanism. However, previous methods only focus on learning the dependencies between the position within an individual image and ignore the contextual relation across different images. In this paper, we propose Duplex Contextual Relation Network (DCRNet) to capture both within-image and cross-image contextual relations. Specifically, we first design Interior Contextual-Relation Module to estimate the similarity between each position and all the positions within the same image. Then Exterior Contextual-Relation Module is incorporated to estimate the similarity between each position and the positions across different images. Based on the above two types of similarity, the feature at one position can be further enhanced by the contextual region embedding within and across images. To store the characteristic region embedding from all the images, a memory bank is designed and operates as a queue. Therefore, the proposed method can relate similar features even though they come from different images. We evaluate the proposed method on the EndoScene, Kvasir-SEG and the recently released large-scale PICCOLO dataset. Experimental results show that the proposed DCRNet outperforms the state-of-the-art methods in terms of the widely-used evaluation metrics.

研究の動機と目的

• コロノスコピー画像におけるポリープの外観の高さのばらつきとぼやけた境界の課題に対処すること。
• 既存の手法でしばしば無視される、異なる画像間で共起する視覚的パターンを活用することで、セグメンテーションの精度を向上させること。
• 画像内および画像間の文脈的関係を統合的にモデリングすることで、特徴表現を向上させること。
• リアルタイムの臨床的導入に適した効率的で軽量なアーキテクチャを設計すること。
• ポリープセグメンテーションにおける画像間文脈モデリングの有効性を、メモリ拡張機構を用いて検証すること。

提案手法

• 本手法は、ResNet-34エンコーダーを搭載したU-Netに基づく二重ブランチアーキテクチャを採用し、内部文脈的関係モジュール（ICR）と外部文脈的関係モジュール（ECR）の二つの並列モジュールを統合する。
• ICRモジュールは、1枚の画像内におけるすべての空間的位置間の類似度を計算するために位置アテンション機構を用い、特徴を適応的に集約することで、局所的表現にグローバルな文脈を統合する。
• ECRモジュールは、特定の領域の特徴と他の画像からの領域特徴間の類似度を計算し、学習された意味的整合性を通じて画像間の特徴強化を実現する。
• 領域クロスバッチメモリ（ROM）は、以前に処理された画像からの特徴的領域埋め込みを保存・取得するキューとして実装され、長距離かつサンプル間の特徴相関を可能にする。
• 最終的なセグメンテーション予測は、ICRおよびECRモジュールからの特徴を統合することで生成され、画像内および画像間の文脈を組み合わせることで識別能を向上させる。
• モデルは、150エポック、ベースの初期学習率1e-4でAdamを用いて訓練され、データオーグメンテーションとしてランダムな反転、ズーム、シフト、回転が適用される。

実験結果

リサーチクエスチョン

• RQ1 画像間の文脈的関係をモデル化することで、画像内文脈を超えてポリープセグメンテーションの性能を顕著に向上させることができるか？
• RQ2 エピソード的メモリ機構が、過去の画像からの代表的特徴を効果的に記憶・取得し、現在の予測を向上させるのにどの程度有効であるか？
• RQ3 二重アテンションモジュール（画像内および画像間）の統合が、境界の明確化および外観の変動に対する耐性向上に寄与するか？
• RQ4 既存の最先端ポリープセグメンテーションモデルと比較して、本手法の精度と推論速度はどのように異なるか？
• RQ5 本手法は、画像品質やポリープ特性にばらつきのある多様なデータセットにおいて、どの程度一般化可能か？

主な発見

• DCRNetは、EndoSceneで85.41%、PICCOLOで85.12%のDiceスコアを達成し、比較したすべての最先端手法をすべての指標で上回った。
• 大規模なPICCOLOデータセットにおいて、DCRNetはわずか28.7MBのモデルサイズで53 FPSの推論速度を達成し、速度およびパラメータ効率の両面で他のモデルを顕著に上回った。
• アブレーションスタディの結果、ICR、ECR、ROMの各モジュールが段階的に性能向上に寄与しており、PICCOLOにおけるベースライン比で全モデルがDiceスコアを2.31%向上させた。
• ECRおよびROMモジュールは、EndoSceneよりもPICCOLOでより顕著な向上を示しており、複雑で多様な臨床的状況において画像間モデリングが特に有益であることが示された。
• PICCOLOでは境界F-measureが85.13を記録し、既存手法と比較して優れた輪郭精度を示した。
• 本手法は、すべての手法の中で最高のSαスコアを達成し、予測と正解の間のグローバル構造的類似性が強いことを示した。