[論文レビュー] Blind Inpainting of Large-scale Masks of Thin Structures with Adversarial and Reinforcement Learning

Hao Chen, Mario Valerio Giuffrida+2 more|arXiv (Cornell University)|Dec 5, 2019

Remote Sensing and LiDAR Applications参考文献 8被引用数 5

ひとこと要約

本稿では、敵対的訓練と二重判別器構成、および方策勾配を用いた強化学習を組み合わせた、薄い構造の大型バイナリセグメンテーションマスクに対する画期的なブラインドインpainting手法を提案する。モデルがギャップの位置を事前に知らない状況下でも、局所的なピクセルレベルの詳細とグローバルな構造的一致性を同時に最適化することで、ギャップの場所に関する事前知識を必要とせず、植物の根のデータセットにおいて人間の専門家と同等の性能を達成する。

ABSTRACT

Several imaging applications (vessels, retina, plant roots, road networks from satellites) require the accurate segmentation of thin structures for subsequent analysis. Discontinuities (gaps) in the extracted foreground may hinder down-stream image-based analysis of biomarkers, organ structure and topology. In this paper, we propose a general post-processing technique to recover such gaps in large-scale segmentation masks. We cast this problem as a blind inpainting task, where the regions of missing lines in the segmentation masks are not known to the algorithm, which we solve with an adversarially trained neural network. One challenge of using large images is the memory capacity of current GPUs. The typical approach of dividing a large image into smaller patches to train the network does not guarantee global coherence of the reconstructed image that preserves structure and topology. We use adversarial training and reinforcement learning (Policy Gradient) to endow the model with both global context and local details. We evaluate our method in several datasets in medical imaging, plant science, and remote sensing. Our experiments demonstrate that our model produces the most realistic and complete inpainted results, outperforming other approaches. In a dedicated study on plant roots we find that our approach is also comparable to human performance. Implementation available at \url{https://github.com/Hhhhhhhhhhao/Thin-Structure-Inpainting}.

研究の動機と目的

• 網膜血管、植物の根、道路網など、ギャップが後続の解析を妨げる薄い構造のバイナリセグメンテーションマスクにおけるギャップ補填の課題に対処すること。
• モデルが欠損領域の位置を事前に知らないという点で、従来の非ブラインドインpainting手法とは異なり、ブラインドインpaintingアプローチを開発すること。
• グローバルな構造的一致性を保ちながら、パッチ単位で学習を行うことで、大規模画像処理におけるGPUメモリ制限を克服すること。
• 敵対的訓練と強化学習を組み合わせることで、局所的なピクセルレベルの精錬とグローバルな構造的一致性の両方を向上させ、インpainting品質を向上させること。
• 医療画像、植物科学、リモートセンシングなど多様な分野への一般化を実証し、定量的・定性的な検証を実施すること。

提案手法

• 本手法は、大規模画像からランダムに切り出されたパッチを用いて学習するU-Netベースのジェネレータネットワークを採用し、学習中に人工的なギャップを挿入する。
• 局所的判別器（D_L）は、インpaintされたパッチが真値パッチとどれほどリアルに近いかを評価する。
• グローバル判別器（D_G）は、完全なインpaint済み画像と元の（ギャップなしの）画像を比較することで、全体的な構造的一致性を評価する。
• 非微分可能な設定下でジェネレータを学習するために方策勾配強化学習が用いられ、ランダムサンプリングと再構成プロセスにもかかわらず、ジェネレータとグローバル判別器の相互作用を可能にする。
• 合成データ（人工ギャップ付き）と実データ（実際のギャップ付き）の両方を用いて学習することで、実世界のセグメンテーションマスクへの一般化を向上させる。
• 最終的なモデル、GAN-GL-Mは、合成および実際の根データの両方で学習され、実世界の不連続性に対しても一般化可能でありながら、高精度なインpaintingを維持できる。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、ギャップの位置を事前に知らない状況下でも、大規模バイナリマスクにおけるブラインドインpaintingを効果的に実行できるか？
• RQ2 パッチ単位で学習を行う際、グローバルな構造的一致性をどのように保てるか？
• RQ3 グローバル判別器を用いた強化学習ベースの訓練スキームが、インpaintされた薄い構造の現実性と完全性をどの程度向上できるか？
• RQ4 提案手法は、植物の根のような複雑な薄い構造のセグメンテーションにおいて、人間の専門家と同等の性能を達成できるか？
• RQ5 学習段階で合成データと実データを組み合わせることで、実世界のセグメンテーションマスクへの一般化と性能が向上するか？

主な発見

• GAN-GL-Mモデルは、実際の根パッチにおいて平均F1スコア0.7211（±0.5970）を達成し、すべてのベースラインを上回り、専門家レベルの性能に近づいた。
• 全根セグメンテーションマスクにおいて、連結成分数が13.58（±14.47）減少し、構造的一致性の顕著な向上が示された。
• 根の長さと凸包面積の測定値が向上し、インpaint結果では凸包面積が81.12（±23.94）増加した。これは、断片化されたセグメントがよりよく再接続されたことを示している。
• 専門家のアノテーションと比較して、GAN-GL-Mは根の長さと凸包面積において同等またはより優れた性能を示し、一貫性があり現実的なインpaintingが実現していることが示された。
• グローバル判別器（D_G）と方策勾配の組み合わせが、トポロジカル構造の保持に不可欠であった。これなしのモデルは、連結成分数が多くなるなど、断片化された結果を出力した。
• 視覚的および定量的評価により、GAN-GL-Mは医療、植物、リモートセンシングの各データセットにおいて、最も現実的かつ完全なインpainting結果を生成したことが確認された。