[論文レビュー] Gradient-Domain Fusion for Color Correction in Large EM Image Stacks

Michael Kazhdan, Kunal Lillaney+4 more|arXiv (Cornell University)|Jun 5, 2015

Image Enhancement Techniques参考文献 22被引用数 7

ひとこと要約

本稿では、大規模な電子顕微鏡（EM）画像スタックにおける色補正のための勾配ドメイン融合手法を提案する。スライス軸に沿った異方的平滑化と、スクリーネッド・ポアソン方程式の解法を組み合わせることで、スライス内での詳細を保持しつつ、スライス間の不連続性を除去する。この手法により、線形時間計算量と非線形記憶量を実現し、5テラボクセルスケールのデータセットを処理可能であり、作業メモリが1 GB未満で運用可能である。

ABSTRACT

We propose a new gradient-domain technique for processing registered EM image stacks to remove inter-image discontinuities while preserving intra-image detail. To this end, we process the image stack by first performing anisotropic smoothing along the slice axis and then solving a Poisson equation within each slice to re-introduce the detail. The final image stack is continuous across the slice axis and maintains sharp details within each slice. Adapting existing out-of-core techniques for solving the linear system, we describe a parallel algorithm with time complexity that is linear in the size of the data and space complexity that is sub-linear, allowing us to process datasets as large as five teravoxels with a 600 MB memory footprint.

研究の動機と目的

• スライスを個別に撮影することによって生じる大規模なEM画像スタックにおけるスライス間の不連続性を解消すること。
• スライス軸に沿ったアーティファクトを除去しつつ、個々のスライス内の高周波数の解剖学的詳細を保持すること。
• 最小限のメモリフットプリントで、テラボクセルスケールのEMデータセットを処理可能なスケーラブルで並列処理可能なソリューションを開発すること。
• 周波数ベースの融合によるポアソン方程式の解法を用いて、大規模なEMボリュームの効率的かつアウトオブコア処理を可能にすること。

提案手法

• スライス方向（z軸）に沿って異方的ガウス平滑化を適用し、スライス間の不連続性を低減しつつ、スライス内構造を保持する。
• 平滑化済みデータと元のデータの融合を、勾配ドメインにおけるスクリーネッド・ポアソン方程式として定式化し、平滑化データからの低周波数成分と元のデータからの高周波数成分を有する新たな画像を求解する。
• 大規模データ処理に対応するため、既存のアウトオブコア・ポアソンソルバーを活用し、非線形空間複雑度を実現する。
• 平滑化後に各スライスを独立して処理することで、スライス間の連続性を保ちつつ、局所的な鋭い特徴を維持する。
• 周波数ドメイン分解を用いて、z方向（LH成分）における高周波数アーティファクトを分離・除去しつつ、xy平面（HH成分）における高周波数成分を保持する。
• アウトオブコア・ポアソンソルバーを周波数ベースの画像融合に適応させ、並列処理可能で線形時間のアルゴリズムを実装することで、5テラボクセルにまでスケーラブルな処理を実現する。

実験結果

リサーチクエスチョン

• RQ1 EM画像スタックにおけるスライス間の不連続性は、スライス内解剖学的詳細のぼやけを伴わずに、どのように効果的に除去できるか？
• RQ2 ポアソン方程式による勾配ドメイン融合は、限られたメモリでテラボクセルスケールのEMデータセットを効率的に処理できるように適応可能か？
• RQ3 3Dポアソンソルバーを2Dスクリーネッド・ポアソンソルバーに置き換えた場合、EM画像融合における精度と計算効率のトレードオフはどのようなものか？
• RQ4 本手法は、大規模なEMデータセットにおいて、EMISACなどの既存手法と比較して、時間的およびメモリ使用量の点でどのようにスケーリングするか？
• RQ5 アウトオブコアおよび並列実装されたポアソンソルバーは、3D EMスタックにおける周波数ベースの画像融合を効果的に拡張可能か？

主な発見

• 本手法は、『ポップ』アーティファクトなどのスライス間の不連続性を効果的に除去し、EMISACとの視覚的比較でもスライス内での微細な解剖学的詳細を保持していることが実証された。
• Kasthuri11データセット（21,504 × 26,624 × 1,850ボクセル）では、平滑化に23.5時間、ブレンド処理に13.9時間で処理が完了し、ピークメモリ使用量はそれぞれ369 MBおよび480 MBであった。
• 5.2テラボクセルのCardonaデータセットでは、平滑化に109時間、ブレンド処理に69時間で処理が完了し、ピークメモリ使用量はそれぞれ593 MBおよび440 MBであった。
• 実装は線形時間計算量と非線形空間複雑度を達成し、1 GB未満の作業メモリで最大5テラボクセルのデータセットを処理可能であった。
• EMISACと比較して、大規模データセットではピークメモリ使用量を90%以上削減し、ブロッキングアーティファクトを完全に排除した。また、大規模な解像度では著しく高速に動作した。
• 全テスト解像度においてEMISACを上回ったが、2048×2048×200を超えるデータセットではEMISACはメモリ不足により処理を完了できなかった。