[論文レビュー] Blind deblurring for microscopic pathology images using deep learning networks

Cheng Jiang, Jun Liao+7 more|arXiv (Cornell University)|Nov 24, 2020

Advanced Image Processing Techniques参考文献 24被引用数 6

ひとこと要約

本論文は、ぼかしの種類を自動で特定し、ぼかし特性に関する事前知識が不要な2つのエンコーダ・デコーダネットワークを用いて、顕微鏡的病理画像のブラインドデブラーを実現する深層学習ベースの手法を提案する。この手法はアーティファクトを発生させず、多様な病理標本において下流のAI診断精度を顕著に向上させる。

ABSTRACT

Artificial Intelligence (AI)-powered pathology is a revolutionary step in the world of digital pathology and shows great promise to increase both diagnosis accuracy and efficiency. However, defocus and motion blur can obscure tissue or cell characteristics hence compromising AI algorithms'accuracy and robustness in analyzing the images. In this paper, we demonstrate a deep-learning-based approach that can alleviate the defocus and motion blur of a microscopic image and output a sharper and cleaner image with retrieved fine details without prior knowledge of the blur type, blur extent and pathological stain. In this approach, a deep learning classifier is first trained to identify the image blur type. Then, two encoder-decoder networks are trained and used alone or in combination to deblur the input image. It is an end-to-end approach and introduces no corrugated artifacts as traditional blind deconvolution methods do. We test our approach on different types of pathology specimens and demonstrate great performance on image blur correction and the subsequent improvement on the diagnosis outcome of AI algorithms.

研究の動機と目的

• AI診断性能を低下させるデフォーカスおよびモーションぼかしの問題に対処すること。
• ぼかしの種類や程度に関する事前知識が不要なエンドツーエンドの深層学習フレームワークを構築すること。
• 従来のブラインドデコンボリューション手法でよく見られる「しわだらけのアーティファクト」を排除すること。
• 画像復元を通じて、病理組織画像を分析するAIアルゴリズムの精度と耐性を向上させること。
• 多様な病理標本および臨床環境において、手法の有効性を検証すること。

提案手法

• 入力画像に存在するぼかしの種類を特定するため、深層学習分類器を訓練する。
• 2つの独立したエンコーダ・デコーダ畳み込みニューラルネットワークを、ぼかしの復元のために訓練する。これらは個別に使用可能であり、併用も可能である。
• エンドツーエンドのアプローチを採用し、ぼやけた画像を直接シャープな復元出力にマッピングする。
• 古典的なブラインドデコンボリューション技術で一般的な「しわだらけのアーティファクト」の発生を回避する。
• 多様な顕微鏡的病理画像、さまざまなぼかし種別および染色条件を用いてモデルを訓練する。
• 正解のぼかしカーネルや明示的なぼかしモデル化を必要としないため、真のブラインドデブラーを実現できる。

実験結果

リサーチクエスチョン

• RQ1 事前知識がなくとも、深層学習モデルは顕微鏡的病理画像におけるぼかし種別の特定を効果的に行えるか？
• RQ2 エンドツーエンドの深層学習フレームワークは、ぼやけた病理画像から細かな組織および細胞構造を復元できるか？
• RQ3 提案手法は、従来のブラインドデコンボリューション手法に比べ、アーティファクトを低減し、画像品質を保持できるか？
• RQ4 どの程度、ぼかしの復元が下流のAI診断モデルの性能向上に寄与するか？
• RQ5 本手法は、さまざまな組織種別、染色法、画像取得条件に一般化可能か？

主な発見

• 提案手法は、高精度にぼかし種別を特定でき、それに応じた最適化された復元戦略を実現した。
• 元のぼやけた入力と比較して、復元画像は顕著に細部が明確で構造的クリアネスが向上した。
• 古典的なブラインドデコンボリューション手法の主な制限要因である「しわだらけのアーティファクト」を回避した。
• ぼかしの復元により、病理画像における下流のAI診断モデルの診断精度が測定可能な程度で向上した。
• 多様な病理標本および染色プロトコルにおいて、本手法は強力な一般化性能を示した。
• エンドツーエンドの学習フレームワークにより、ぼかしカーネルのアノテーションを必要とせずに効果的なブラインドデブラーが実現した。