[論文レビュー] Overview of image-to-image translation by use of deep neural networks: denoising, super-resolution, modality conversion, and reconstruction in medical imaging

Shizuo Kaji, Satoshi Kida|arXiv (Cornell University)|May 21, 2019

Advanced Image Processing Techniques参考文献 50被引用数 9

ひとこと要約

本論文は、医用画像における深層ニューラルネットワークを用いた画像間変換について包括的な概要を提供し、ノイズ除去、スーパーレゾリューション、モodalitiy変換、再構成を焦点としている。pix2pixとCycleGANは、それぞれ対応データと非対応データの基盤となるアーキテクチャとして提示されており、実用的導入および臨床応用分野におけるさらなる研究を可能にするために、チュートリアル付きのオープンソース実装を提供している。

ABSTRACT

Since the advent of deep convolutional neural networks (DNNs), computer vision has seen an extremely rapid progress that has led to huge advances in medical imaging. This article does not aim to cover all aspects of the field but focuses on a particular topic, image-to-image translation. Although the topic may not sound familiar, it turns out that many seemingly irrelevant applications can be understood as instances of image-to-image translation. Such applications include (1) noise reduction, (2) super-resolution, (3) image synthesis, and (4) reconstruction. The same underlying principles and algorithms work for various tasks. Our aim is to introduce some of the key ideas on this topic from a uniform point of view. We introduce core ideas and jargon that are specific to image processing by use of DNNs. Having an intuitive grasp of the core ideas of and a knowledge of technical terms would be of great help to the reader for understanding the existing and future applications. Most of the recent applications which build on image-to-image translation are based on one of two fundamental architectures, called pix2pix and CycleGAN, depending on whether the available training data are paired or unpaired. We provide computer codes which implement these two architectures with various enhancements. Our codes are available online with use of the very permissive MIT license. We provide a hands-on tutorial for training a model for denoising based on our codes. We hope that this article, together with the codes, will provide both an overview and the details of the key algorithms, and that it will serve as a basis for the development of new applications.

研究の動機と目的

• ノイズ除去、スーパーレゾリューション、モダリティ変換などの多様な医用画像処理タスクを、画像間変換の共通フレームワークに統合すること。
• 医用画像分野の実務家向けに、深層ニューラルネットワークベースの画像変換の核心的原則と技術用語を明確にすること。
• MITライセンスの下で利用可能で、良好にドキュメント化されたコードを提供し、対応データおよび非対応データの両方のデータセットに対してpix2pixおよびCycleGANアーキテクチャを用いたモデルの学習を可能にすること。
• 提供されたコードベースを用いて、ノイズ除去モデルのトレーニングを実践的にガイドするチュートリアルを研究者に提供すること。
• 臨床現場での信頼性ある導入を実現するため、データ駆動型の深層学習とドメイン固有の知識を組み合わせることの重要性を強調すること。

提案手法

• 入力画像から出力画像へのマッピングを学習するため、すべてのターゲットタスクを画像間変換問題として扱う、深層畳み込みニューラルネットワーク（DNN）を用いる。
• 対応データに適したpix2pixアーキテクチャを採用し、エンコーダ・デコーダ構造に敵対的訓練を組み合わせることで、入力から出力への条件付きマッピングを学習する。
• 非対応データに適したCycleGANアーキテクチャを採用し、サイクル整合性を強制することで、対応するトレーニングペアが不要なマッピングを学習する。
• 生成的敵対ネットワーク（GAN）とエンコーダ・デコーダアーキテクチャを統合することで、生成画像の知覚的品質および構造的正確性を向上させる。
• L2損失関数および知覚的損失関数を用いたトレーニングパイプラインを実装し、Adam最適化アルゴリズムを用いてエンドツーエンドのトレーニングを実行する。
• デフォルトのハイパーパrameterを備えたモジュラーなコードベースを提供し、チューニングに柔軟に対応可能であり、CPUまたはGPUでの推論をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ノイズ除去やスーパーレゾリューションなどの多様な医用画像処理タスクが、どのように画像間変換フレームワークに統合できるか。
• RQ2 医用画像応用において、対応データを前提とするpix2pixと非対応データを前提とするCycleGANとの間で、主なアーキテクチャ的差異とパフォーマンスのトレードオフは何か。
• RQ3 事前学習済みDNNモデルが、異なる画像プロトコル、スキャナ、または患者集団間でどれほど一般化可能か。
• RQ4 モデルベースとデータ駆動型アプローチを統合することで、DNNベースの画像変換の信頼性と臨床的有用性をどのように向上できるか。
• RQ5 実際の医用画像ワークフローにおけるハイパーパrameterチューニングおよびトレーニング済みモデルの展開において、どのような実務的課題が生じるか。

主な発見

• pix2pixおよびCycleGANアーキテクチャは、ノイズ除去、スーパーレゾリューション、クロスモダリティ合成を含む、幅広い医用画像変換タスクの基盤フレームワークとして機能する。
• GPUを搭載しない環境でも、1秒間に数十枚のDICOM画像を処理できるため、臨床現場でのリアルタイム推論が可能である。
• パフォーマンスはデータの類似性に強く依存しており、特定のスキャナタイプやノイズ特性で学習したモデルは、再トレーニングを行わなければ新しいデータセットに一般化できない。
• 最適なパフォーマンスを得るためにはハイパーパrameterチューニングが不可欠であるが、デフォルト設定でも十分に妥当な出発点を提供する。
• 深層学習にドメイン固有の知識を統合することで、特にデータが少ない状況下でも、モデルのロバスト性と信頼性が向上する。
• 著者らは、DNNが注意深く使用される場合、強力なツールであると示し、臨床的安全性と説明可能性を確保するため、モデルベースとデータ駆動型アプローチを統合したハイブリッド手法の推進を提唱している。