[論文レビュー] A learning without forgetting approach to incorporate artifact knowledge in polyp localization tasks.

Roger D. Soberanis-Mukul, Maxime Kayser+4 more|arXiv (Cornell University)|Feb 7, 2020

Colorectal Cancer Screening and Detection参考文献 30被引用数 5

ひとこと要約

本論文は、内視鏡動画における実世界の検出の頑健性を向上させるために、ポリープとアーティファクトを同時に局所化する、学習の記憶を失わないフレームワークを提案する。RetinaNetに基づくポリープ検出にアーティファクトの知識を統合することで、アーティファクトが混在する困難なデータセットにおいて優れた性能を達成した。本研究は、アーティファクト干渉に関する最初の包括的かつ、ポリープ局所化における学習の記憶を失わない手法の最初の応用である。

ABSTRACT

Colorectal polyps are abnormalities in the colon tissue that can develop into colorectal cancer. The survival rate for patients is higher when the disease is detected at an early stage and polyps can be removed before they develop into malignant tumors. Deep learning methods have become the state of art in automatic polyp detection. However, the performance of current models heavily relies on the size and quality of the training datasets. Endoscopic video sequences tend to be corrupted by different artifacts affecting visibility and hence, the detection rates. In this work, we analyze the effects that artifacts have in the polyp localization problem. For this, we evaluate the RetinaNet architecture, originally defined for object localization. We also define a model inspired by the learning without forgetting framework, which allows us to employ artifact detection knowledge in the polyp localization problem. Finally, we perform several experiments to analyze the influence of the artifacts in the performance of these models. To our best knowledge, this is the first extensive analysis of the influence of artifact in polyp localization and the first work incorporating learning without forgetting ideas for simultaneous artifact and polyp localization tasks.

研究の動機と目的

• 内視鏡的アーティファクトがポリープ局所化の性能に与える悪影響を分析すること。
• 実世界の内視鏡動画において、アーティファクトの存在が検出精度をどのように低下させるかを調査すること。
• ポリープとアーティファクトの局所化を同時に学習し、過去の知識を忘れない統一された深層学習フレームワークを開発すること。
• 異なるアーティファクト頻度と画像品質を有するデータセット上で、提案手法の有効性を評価すること。

提案手法

• ポリープ局所化のベースラインとして、RetinaNetアーキテクチャを内視鏡画像に適応する。
• 事前学習済みのポリープ検出知識を保持しつつ、アーティファクト検出を統合する、学習の記憶を失わない（LwF）にインspiredされたモデルを設計する。
• 知識蒸留と特徴正則化を用いて、ポリープとアーティファクトのデータに対する共同学習中に深刻な忘却を防ぐ。
• 共有バックボーン特徴を活用して、ポリープとアーティファクトのアノテーションを統合したデータセット上で、モデルをエンドツーエンドで訓練する。
• 両方の検出タスクにおける関連領域に注目するため、注目メカニズムを適用する。
• 分類と回帰ヘッドの両方のタスクを統合したマルチタスク損失を用いて、モデルを微調整する。

実験結果

リサーチクエスチョン

• RQ1 異なる種類の内視鏡的アーティファクトは、最先端のポリープ局所化モデルの性能にどのように影響するか？
• RQ2 アーティファクト検出の知識を統合することで、アーティファクトが頻発する環境下でのポリープ局所化の頑健性はどの程度向上するか？
• RQ3 学習の記憶を失わないフレームワークは、アーティファクト局所化機能を追加しても、ポリープ検出の正確性を効果的に維持できるか？
• RQ4 ポリープデータのみで学習するのと比較して、ポリープとアーティファクトのデータを共同で学習することは、一般化性能と頑健性の観点でどのように異なるか？

主な発見

• 提案されたLwFベースのモデルは、アーティファクト頻度の高いデータセットにおいて、標準的なRetinaNetを顕著に上回り、頑健性の向上を示した。
• アーティファクト検出の知識を統合することで、特に視認性が低い領域において、ポリープ検出の平均平均適合率（mAP）が明確に向上した。
• アーティファクト検出の学習後でも、ポリープ検出の高い性能を維持しており、有効な知識保持が確認された。
• アブレーションスタディの結果、知識蒸留と特徴正則化が深刻な忘却を防ぐために不可欠であることが示された。
• 複数の内視鏡動画シーケンスにおいて、異なる種類や強度のアーティファクトを含む環境で、一貫した性能向上が達成された。
• 本研究は、臨床現場における実世界の環境で、アーティファクトに配慮した学習がポリープ局所化を強化することを、初めての証拠として示した。