[論文レビュー] MudrockNet: Semantic Segmentation of Mudrock SEM Images through Deep Learning

Abhishek Bihani, Hugh Daigle+4 more|arXiv (Cornell University)|Feb 5, 2021

Electron and X-Ray Spectroscopy Techniques参考文献 70被引用数 55

ひとこと要約

MudrockNet は、日本熊野盆地の泥岩から得られた正解データを用いてトレーニングされた、TensorFlow で構築された深層学習ベースのセマンティックセグメンテーションモデルであり、泥岩走査電子顕微鏡（SEM）画像におけるシルト粒子と孔隙を自動的に特定することを目的としている。DeepLab-v3+ アーキテクチャを基盤とし、シルト粒子の平均交差率（IoU）が 0.6591、孔隙の IoU が 0.6642 に達し、従来の手法（Weka のランダムフォレストなど）に比べて精度と速度の両面で優れた性能を示した。

ABSTRACT

Segmentation and analysis of individual pores and grains of mudrocks from scanning electron microscope images is non-trivial because of noise, imaging artifacts, variation in pixel grayscale values across images, and overlaps in grayscale values among different physical features such as silt grains, clay grains, and pores in an image, which make their identification difficult. Moreover, because grains and pores often have overlapping grayscale values, direct application of threshold-based segmentation techniques is not sufficient. Recent advances in the field of computer vision have made it easier and faster to segment images and identify multiple occurrences of such features in an image, provided that ground-truth data for training the algorithm is available. Here, we propose a deep learning SEM image segmentation model, MudrockNet based on Google's DeepLab-v3+ architecture implemented with the TensorFlow library. The ground-truth data was obtained from an image-processing workflow applied to scanning electron microscope images of uncemented muds from the Kumano Basin offshore Japan at depths < 1.1 km. The trained deep learning model obtained a pixel-accuracy about 90%, and predictions for the test data obtained a mean intersection over union (IoU) of 0.6591 for silt grains and 0.6642 for pores. We also compared our model with the random forest classifier using trainable Weka segmentation in ImageJ, and it was observed that MudrockNet gave better predictions for both silt grains and pores. The size, concentration, and spatial arrangement of the silt and clay grains can affect the petrophysical properties of a mudrock, and an automated method to accurately identify the different grains and pores in mudrocks can help improve reservoir and seal characterization for petroleum exploration and anthropogenic waste sequestration.

研究の動機と目的

• 泥岩 SEM 画像における孔隙およびシルト粒子のセマンティックセグメンテーションを自動化し、手動によるユーザー主導のセグメンテーションワークフローへの依存を減らすことを目的とする。
• ノイズ、特徴間のグレースケールの重複（例：けいれんとシルトと孔隙の間）、画像間での一貫性のないピクセル強度といった従来のセグメンテーションの課題を克服することを目的とする。
• 高スルーレットで繰り返し可能かつスケーラブルなマイクロ構造的特徴のセグメンテーションを可能にすることで、デジタルロック物理学解析の精度と効率を向上させることを目的とする。
• 複雑なグレースケールの SEM 画像において、深層学習モデルが従来のしきい値処理やランダムフォレストベースのセグメンテーションを上回ることを示すこと。
• 再現性と今後の開発を支援するため、公開可能なトレーニング済みモデルとコードベースを提供すること。

提案手法

• モデルは、アトロス空間的アップサンプルプール（ASPP）とエンコーダ・デコーダ構造を用いた、密度予測に適した最先端のセマンティックセグメンテーションフレームワークである DeepLab-v3+ アーキテクチャに基づいている。
• ネットワークは、日本・熊野盆地のセメント化されていない泥岩の SEM 画像 100 枚からなるデータセットを用いてトレーニングされ、正解ラベルは従来の画像処理ワークフローにより生成された。
• トレーニングは TensorFlow ライブラリを用い、限られたトレーニングサンプルでも一般化性能を向上させるためにデータオーグメンテーションが適用された。
• モデルはピクセル単位の交差エントロピー損失と Adam 最適化を用い、生のグレースケール SEM 画像からエンドツーエンドの特徴表現を学習する。
• 推論は、平均交差率（IoU）とピクセル精度を用いて評価され、ImageJ における Weka ベースのランダムフォレスト分類器と比較された。
• 個々の粒子や孔隙を特定するためのインスタンスレベルセグメンテーションを実現するために、連結成分ラベリングを用いた後処理が施された。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、グレースケールの泥岩 SEM 画像において、従来のしきい値ベースのセグメンテーションよりも、シルト粒子と孔隙をより高い精度で区別できるか？
• RQ2 MudrockNet の性能は、従来の機械学習分類器（例：ランダムフォレスト）と比較して、IoU と推論速度の両面でどう異なるか？
• RQ3 深層学習モデルは、細粒度の岩石の SEM 画像におけるグレースケール強度の変動や画像アーチファクトに対して、どの程度一般化できるか？
• RQ4 トレーニング画像サイズを超える大規模な SEM 画像（例：2048×1767 ピクセル）に対しても、MudrockNet は高い忠実度でセグメンテーションを実行できるか？
• RQ5 限られたトレーニングデータと重複するグレースケール値が、モデルの一般化性能と予測信頼性に及ぼす影響はどの程度か？

主な発見

• テストデータにおいて、MudrockNet はシルト粒子の平均 IoU が 0.6591、孔隙の IoU が 0.6642 に達し、複雑なグレースケール画像においてこれらの特徴を良好に区別できることを示した。
• MudrockNet は、シルト粒子および孔隙のセグメンテーションにおいて、Weka ランダムフォレスト分類器を上回り、より高い IoU 値と顕著に高速な推論時間（inference time）を達成した。
• MudrockNet の予測時間は 1 枚あたり 0.218 秒であり、従来のセグメンテーションアルゴリズムの 7.767 秒と比較して 35 倍の高速化が達成された。
• 大規模なテスト画像（15,000× 拡大、2048×1767 ピクセル）において、MudrockNet はシルト粒子の IoU が 0.739、孔隙の IoU が 0.682 を達成し、画像サイズの拡大に対しても高い耐性を示した。
• 高い精度にもかかわらず、限られたトレーニングデータとけいれんとのグレースケールの重複により、非常に小さなシルト粒子の検出に限界が見られた。これは、データオーグメンテーションやサイズベースのフィルタリングの導入が今後の課題であることを示唆している。
• 正解データ自体が手動によるフィルタリングステップを含んでおり、これがエキスパートラベルとモデル予測の間の乖離に寄与している可能性がある。