[論文レビュー] PatchPerPix for Instance Segmentation

P. B. Hirsch, Lisa Mais+1 more|arXiv (Cornell University)|Jan 21, 2020

Cell Image Analysis Techniques参考文献 30被引用数 9

ひとこと要約

PatchPerPixは、各画素に対して密な局所的形状記述子（形状パッチ）を予測し、1回のパスでパッチ類似度グラフの分割問題を解くことで完全なインスタンスを構成する、非反復的なインスタンスセグメンテーション手法を提案する。この手法は、ISBI 2012、BBBC010、2D/3D顕微鏡画像データセットを含む複数のバイオメディカルベンチマークで最先端の性能を達成しており、特に複雑で重なっている、密集したオブジェクト形状において優れた性能を発揮する。

ABSTRACT

We present a novel method for proposal free instance segmentation that can handle sophisticated object shapes which span large parts of an image and form dense object clusters with crossovers. Our method is based on predicting dense local shape descriptors, which we assemble to form instances. All instances are assembled simultaneously in one go. To our knowledge, our method is the first non-iterative method that yields instances that are composed of learnt shape patches. We evaluate our method on a diverse range of data domains, where it defines the new state of the art on four benchmarks, namely the ISBI 2012 EM segmentation benchmark, the BBBC010 C. elegans dataset, and 2d as well as 3d fluorescence microscopy data of cell nuclei. We show furthermore that our method also applies to 3d light microscopy data of Drosophila neurons, which exhibit extreme cases of complex shape clusters

研究の動機と目的

• オブジェクトが複雑で広範囲に散らばり、重なりを伴う密集したクラスタを示すバイオメディカル画像におけるインスタンスセグメンテーションの課題に対処すること。
• 従来のプロポーザルフリー手法がインスタンス形状を明示的にモデル化せず、クロスオーバーに対処しにくいという制限を克服すること。
• 学習された局所的形状パッチを1回の推論パスで統合して完全なインスタンスを構築する手法を開発すること。
• 神経細胞や細胞核のような複雑な形状を示す課題の大きいデータセットにおいて、従来の手法が失敗する状況でのセグメンテーション精度を向上させること。

提案手法

• U-NetベースのCNNが、各画素に対して局所的形状記述子（バイナリマスクまたは符号化表現）を予測し、そのインスタンスの局所的形状を表す。
• 各ノードが予測された形状パッチに対応するパッチ類似度グラフを構築し、エッジのスコアは重複するパッチ間の合意度に基づく。
• 符号付きグラフ分割アルゴリズムをパッチ類似度グラフに適用することで、1回のパスで全インスタンスを同時にセグメンテーション可能となり、重なりの自然な処理が可能になる。
• 形状予測とインスタンス統合のエンドツーエンド学習により、エンコーダとデコーダを別々に訓練するのとは異なり、一般化性能が向上する。
• バイナリマスクと圧縮符号化表現の両方をサポートしており、後者は特定のデータセットで優れた性能を示している。
• 本手法は3Dデータにもスケーラブルであるが、計算上の制約により、3Dにおけるパッチサイズは現時点では7×7×7または9×9×9に制限されている。

実験結果

リサーチクエスチョン

• RQ1 非反復的でパッチベースの手法が、複雑で重なっているバイオメディカル構造において、既存の最先端のインスタンスセグメンテーションモデルを上回ることができるか？
• RQ2 学習された形状パッチが、反復的リファインメントなしにグラフ分割によって完全で正確なインスタンスに効果的に統合できるか？
• RQ3 画素ごとの局所的形状記述子を予測することで、グローバルまたはアフィニティベースの手法と比較して、密集クラスターやクロスオーバーの処理性能が向上するか？
• RQ4 3Dライトマイクロスコピーにおける細く、樹状の神経構造のような極端なケースにおいて、本手法の性能はいかがなものか？
• RQ5 形状表現とインスタンス統合のエンドツーエンド学習は、コンponentsを別々に訓練するのと比較して、より良い結果をもたらすか？

主な発見

• PatchPerPixは、ISBI 2012 EMセグメンテーションベンチマークで最先端の性能を達成し、以前の手法と顕著な差を示した。
• BBBC010 C. elegans データセットでは、2018 Data Science Bowlスコア（S）を0.584から0.693へ、平均F1スコア（avS）を0.895から0.919へ向上させた。
• 2Dおよび3Dの蛍光顕微鏡画像における細胞核のセグメンテーションにおいて、最先端の手法を上回るピクセル精度を達成し、それぞれSスコアが0.693（dsb2018）および0.436（nuclei3d）を記録した。
• 本手法は一般化性能に優れており、薄くねじれたり重なったりする構造を示すDrosophila神経細胞の3Dライトマイクロスコピー画像に対しても、妥当な結果を達成した。
• 形状符号化のエンドツーエンド学習により、性能向上が明確に観察されたが、特に2Dデータにおいて顕著であり、3Dでは小さなパッチサイズの制限により性能向上は限定的であった。
• nuclei3dでは、形状符号化を使用した手法（ppp+dec）の性能が、バイナリマスクバージョン（ppp）と同等またはそれ未満に留まったため、3Dの小さなパッチサイズが符号化表現の利点を制限している可能性が示唆された。