[論文レビュー] Real-time sparse-sampled Ptychographic imaging through deep neural networks

Mathew J. Cherukara, Tao Zhou+5 more|arXiv (Cornell University)|Apr 15, 2020

Advanced X-ray Imaging Techniques被引用数 4

ひとこと要約

この論文では、遠方回折パターンをそのまま実空間の物体構造および位相にマッピングする深層畳み込みニューラルネットワークであるPtychoNNを紹介する。実験的X線ナノプローブデータで訓練されたPtychoNNは、最先端の反復的手法よりも最大300倍速く再構成可能であり、50％未満の重複率の下でも部分的にサンプリングされたデータを正常に逆転可能であり、感受性が高く、大容量のサンプルの高速・低線量・動的イメージングを可能にする。

ABSTRACT

Ptychography has rapidly grown in the fields of X-ray and electron imaging for its unprecedented ability to achieve nano or atomic scale resolution while simultaneously retrieving chemical or magnetic information from a sample. A ptychographic reconstruction is achieved by means of solving a complex inverse problem that imposes constraints both on the acquisition and on the analysis of the data, which typically precludes real-time imaging due to computational cost involved in solving this inverse problem. In this work we propose PtychoNN, a novel approach to solve the ptychography reconstruction problem based on deep convolutional neural networks. We demonstrate how the proposed method can be used to predict real-space structure and phase at each scan point solely from the corresponding far-field diffraction data. The presented results demonstrate how PtychoNN can effectively be used on experimental data, being able to generate high quality reconstructions of a sample up to hundreds of times faster than state-of-the-art ptychography reconstruction solutions once trained. By surpassing the typical constraints of iterative model-based methods, we can significantly relax the data acquisition sampling conditions and produce equally satisfactory reconstructions. Besides drastically accelerating acquisition and analysis, this capability can enable new imaging scenarios that were not possible before, in cases of dose sensitive, dynamic and extremely voluminous samples.

研究の動機と目的

• 反復的pTYCHOGRAPHIC位相再構成の計算的ボトル neck を克服し、X線および電子顕微鏡におけるリアルタイムイメージングを可能にする。
• 反復的手法で一般的に求められる50％の重複率制約を緩和し、スパarselyサンプリングされたデータから高精度のpTYCHOGRAPHIC再構成を実現する。
• 高速でエッジデバイスに展開可能であり、実験的ビームラインでの実用的利用に最小限のトレーニングデータを要する深層学習ソリューションを開発する。
• アドバンスドフォトンソースから得た実験的データを用いて、実世界のpTYCHOGRAPHICイメージングにエンドツーエンドの深層学習が実現可能であることを示す。

提案手法

• PtychoNNは、生の遠方回折パターンから実空間の振幅および位相への直接的マッピングを学習する、エンコーダ・デコーダ構造を有する深層畳み込みニューラルネットワークアーキテクチャを採用する。
• ネットワークは、アドバンスドフォトンソースのX線ナノプローブビームライン（26-ID）で取得された16,000枚の実験的pTYCHOGRAPHIC回折パターンを用いてトレーニングされる。
• トレーニングデータは、161×161のスキャンポイント、30 nmのステップサイズ、50％の重複率を有し、フレネルゾーンプレートで焦点を合わせた60 nmのコherentlyなビームを用いる。
• ネットワークは1回の順方向伝搬で物体の振幅と位相を同時に予測するように最適化されており、1スキャンポイントあたり約1 msの推論が可能である。
• 重複率制約の必要がないように、データから直接逆マッピングを学習することで、反復的位相再構成を回避する。
• スパースな取得をテストするために、元のサンプリングの1/5まで低減したサブサンプリングデータを用いてモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、実験的X線回折データからリアルタイムpTYCHOGRAPHIC再構成を達成できるか？
• RQ2 PtychoNNは、50％未満の重複率の下でも、部分的にサンプリングされたpTYCHOGRAPHICデータから高精度の画像を再構成できるか？
• RQ3 PtychoNNが実用的環境で信頼性のある再構成を達成するためには、どの程度のトレーニングデータが必要か？
• RQ4 PtychoNNは制限されたハードウェア上で効率的にトレーニングおよびデプロイ可能であり、ビームラインでのリアルタイムイメージングを可能にするか？

主な発見

• PtychoNNは、高性能な反復的pTYCHOGRAPHYソフトウェアであるPtycholibよりも最大300倍速く再構成可能であり、1スキャンポイントあたりの推論時間がわずか約1 msである。
• ネットワークは、たった800サンプルのトレーニングデータでさえも、1台のNVIDIA V100 GPUで1分未満でトレーニングを完了し、振幅および位相の両方の高品質な再構成を生成する。
• PtychoNNは、元のサンプリング密度の1/5にまで低減されたpTYCHOGRAPHICデータからも画像を正常に再構成でき、顕著なサブサンプリングにもかかわらず正確性を維持する。
• 反復的手法が50％未満の重複率で失敗またはアーチファクトを生成するのに対し、PtychoNNはスパースなサンプリング下でも忠実度を維持し、データ取得の削減に強いことを示している。
• ワーキングテストパターンにランダムな特徴を付与した例から、さまざまな構造に対して一貫した性能を示しており、異なるサンプル特徴への一般化能力が優れていることが実証された。
• 本手法によりリアルタイムフィードバックが可能となり、放射線感受性・動的・大容量のサンプルに対する新たなイメージングシナリオが開かれる。これは、放射線線量と取得時間を著しく削減するためである。