[論文レビュー] Adversarial Image Alignment and Interpolation

Viren Jain|arXiv (Cornell University)|Jun 30, 2017

Advanced Image Processing Techniques参考文献 9被引用数 5

ひとこと要約

本論文は、完全畳み込みニューラルネットワークを用いた画期的な敵対的深層学習手法を提案し、ボリュメトリック3D顕微鏡データにおける教師なし画像補間および微細スケールアライメントを実現する。敵対的損失と教師ありピクセル損失を組み合わせることで、欠落または損傷した画像断層の合成と、異方的分解能の是正を達成し、教師ありアライメントラベルを一切必要とせず、ブロック面電子顕微鏡データの高忠実度なスーパーサンプルリコンストラクションを実現する。

ABSTRACT

Volumetric (3d) images are acquired for many scientific and biomedical purposes using imaging methods such as serial section microscopy, CT scans, and MRI. A frequent step in the analysis and reconstruction of such data is the alignment and registration of images that were acquired in succession along a spatial or temporal dimension. For example, in serial section electron microscopy, individual 2d sections are imaged via electron microscopy and then must be aligned to one another in order to produce a coherent 3d volume. State of the art approaches find image correspondences derived from patch matching and invariant feature detectors, and then solve optimization problems that rigidly or elastically deform series of images into an aligned volume. Here we show how fully convolutional neural networks trained with an adversarial loss function can be used for two tasks: (1) synthesis of missing or damaged image data from adjacent sections, and (2) fine-scale alignment of block-face electron microscopy data. Finally, we show how these two capabilities can be combined in order to produce artificial isotropic volumes from anisotropic image volumes using a super-resolution adversarial alignment and interpolation approach.

研究の動機と目的

• アノトロープ的でブロック面電子顕微鏡から得られる3Dボリュームデータのアライメントと補間という課題に取り組むこと。手動または従来の最適化ベースのアライメントは時間的にかかる上、スケーラブルな監視が不十分である。
• 高価な人為的アノテート済みアライメントラベルの必要性を回避する教師なし学習フレームワークを構築すること。敵対的訓練を活用し、画像合成とアライメントを実現する。
• 補間とアライメントを統合したエンドツーエンドの敵対的ネットワークにより、異方的入力からの等方的3Dボリュームのスーパーサンプルリコンストラクションを可能にすること。
• 単純なネットワークアーキテクチャでも、敵対的損失が標準的な教師あり損失を上回り、知覚的品質と微細スケールアライメントを向上させることを示すこと。

提案手法

• 完全畳み込みニューラルネットワークを訓練し、隣接する断層（k-1 および k+1）から欠落した2D断層を補間する。L1ピクセル単位損失とディスクライマー・ネットワークからの敵対的損失を併用する。
• 生成画像に敵対的損失を適用することで、現実性と構造的一致性を高め、ピクセルレベルの再構築を越えた知覚的品質を向上させる。
• 別個の敵対的アライメントネットワークを訓練し、隣接断層間の微細スケール変形を予測する。ピクセル単位の整合性と敵対的現実性の両方を最適化する。
• スーパーサンプルアライメントおよび補間ネットワークは、転置3D畳み込みによるアップサンプリングとスキップ接続、敵対的訓練を組み合わせ、異方的入力を等方的3Dボリュームに変換する。
• ディスクライマーはリスライスされた平面（xz および yz）に適用され、異なる方向における一貫性ある特徴学習を保証する。入力サイズを統一するためにクロッピングを実施する。
• 訓練は生成器とディスクライマー間のミニマックス目的に基づき、統合されたスーパーサンプルモデルにおける補間とアライメントの目的関数を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 標準的な教師あり学習と比較して、敵対的訓練は3D顕微鏡スタック内の補間された2D画像断層の知覚的品質と構造的忠実度を向上させるか？
• RQ2 敵対的損失関数は、教師あり変形ラベルを必要とせず、ボリュメトリック画像データの効果的な教師なしアライメントを可能にするか？
• RQ3 1つのニューラルネットワークが、異方的入力から等方的3Dボリュームを生成するために、画像補間とアライメントを同時に効果的に行えるか？
• RQ4 敵対的損失とピクセル単位損失の組み合わせは、ブロック面電子顕微鏡における再構築3Dボリュームの現実性と正確性にどのように影響を与えるか？
• RQ5 本手法は、欠損または損傷した断層を含む実世界データに一般化可能か？また、従来のアライメントパイプラインと比較してどのように性能を発揮するか？

主な発見

• 提案された敵対的補間ネットワークは、単純なアーキテクチャでもベースラインの教師ありモデルに比べ、合成断層の視覚的品質と構造的一致性が顕著に向上している。
• 敵対的アライメントネットワークは、教師ありラベルを一切必要とせず、現実的な変形場を学習することで、ブロック面顕微鏡データの微細スケールアライメントを達成している。
• スーパーサンプル敵対的アライメントおよび補間ネットワークは、異方的入力から等方的3Dボリュームを効果的に生成し、z軸方向に分解能を2倍にし、構造的一致性を維持している。
• マウス皮質データを用いた実験では、本手法がアーチファクトを低減し、断層間の継続性を向上させつつ、知覚的に現実的な出力を得ている。
• 敵対的損失とL1損失の組み合わせは、複雑な組織形態を示す領域において、単独での損失よりもシャープで現実的な再構築を実現している。
• 本手法は欠損または損傷した断層に対して頑健であり、隣接断層に基づいて妥当な画像コンテンツを「幻覚化」して効果的に補完している。