[論文レビュー] Limited-angle tomographic reconstruction of dense layered objects by dynamical machine learning

Iksung Kang, Alexandre Goy+1 more|arXiv (Cornell University)|Jul 21, 2020

Photoacoustic and Ultrasonic Imaging参考文献 80被引用数 5

ひとこと要約

本稿では、密度が高く層構造を呈し、強い散乱を示す対象物の限界角度トモグラフィー再構成を改善するために、スプリット畳み込みゲート付き再帰ユニット（SC-GRU）を備えた新規の再帰ニューラルネットワーク（RNN）を提案する。入射角の照明シーケンスを動的システムとしてモデル化することで、動的処理と角方向アテンションを活用し、静的深層学習手法に比べてアーチファクトを低減し、再構成の忠実度を向上させる。実験データにおいて優れた定量的結果が得られている。

ABSTRACT

Limited-angle tomography of strongly scattering quasi-transparent objects is a challenging, highly ill-posed problem with practical implications in medical and biological imaging, manufacturing, automation, and environmental and food security. Regularizing priors are necessary to reduce artifacts by improving the condition of such problems. Recently, it was shown that one effective way to learn the priors for strongly scattering yet highly structured 3D objects, e.g. layered and Manhattan, is by a static neural network [Goy et al, Proc. Natl. Acad. Sci. 116, 19848-19856 (2019)]. Here, we present a radically different approach where the collection of raw images from multiple angles is viewed analogously to a dynamical system driven by the object-dependent forward scattering operator. The sequence index in angle of illumination plays the role of discrete time in the dynamical system analogy. Thus, the imaging problem turns into a problem of nonlinear system identification, which also suggests dynamical learning as better fit to regularize the reconstructions. We devised a recurrent neural network (RNN) architecture with a novel split-convolutional gated recurrent unit (SC-GRU) as the fundamental building block. Through comprehensive comparison of several quantitative metrics, we show that the dynamic method improves upon previous static approaches with fewer artifacts and better overall reconstruction fidelity.

研究の動機と目的

• 密度が高く、層構造を呈し、強い散乱を示す対象物における限界角度トモグラフィー再構成という極めて不適切な問題に対処すること。
• 従来の正則化手法が失敗する逆散乱問題において、再構成の忠実度を向上させ、アーチファクトを低減すること。
• 異なる角度から取得された生の画像を時系列としてモデル化し、より良い事前知識のモデリングを可能にする動的学習を可能にすること。
• スプリット畳み込み、角方向アテンション、活性化関数といったアーキテクチャ的要素が再構成性能に与える寄与を評価すること。
• RNNによる動的学習が、複雑なトモグラフィー再構成において、静的深層学習アプローチを上回ることを示すこと。

提案手法

• 複数の入射角からの生の強度回折パターンを、離散時間動的システムとして扱い、角度インデックスを時間ステップとして使用する。
• 2段階の処理パイプラインを用いる：まず、勾配降下法と移動平均処理を用いてノイズ低減と次元削減を図る近似シーケンスを生成する。
• 近似シーケンスを潜在表現に符号化し、新規のスプリット畳み込みゲート付き再帰ユニット（SC-GRU）をコアとなる再帰ブロックとして備えた再帰ニューラルネットワークに供給する。
• 角方向アテンション機構により、情報量に応じて異なる角度からの入力を動的に重み付けし、特徴の統合を向上させる。
• 最終的な隠れ状態シーケンスはアテンションにより1つの表現に統合され、3次元屈折率再構成にデコードされる。
• 予測値と真値の3次元物体との差を最小化する損失関数を用いて、ネットワークをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 角方向のトモグラフィー再構成データを動的システムとしてモデル化することで、静的深層学習手法に比べて再構成品質が向上するか？
• RQ2 スプリット畳み込みゲート付き再帰ユニット（SC-GRU）の導入が、3次元トモグラフィー再構成における特徴学習をどのように向上させるか？
• RQ3 角方向アテンション機構が、情報量の多い視点に焦点を当てることで、再構成忠実度をどの程度向上させるか？
• RQ4 活性化関数やパラメータ共有といったアーキテクチャ的要素が、限界角度トモグラフィーにおける性能に与える影響はいかほどか？
• RQ5 RNNによる動的学習が、密度が高く、層構造を呈し、強い散乱を示す対象物の再構成において、静的ニューラルネットワークを上回るか？

主な発見

• 提案されたSC-GRUを備えたRNNアーキテクチャは、静的3D-DenseNetベースラインに比べて顕著に再構成忠実度が高く、視覚的比較においてもアーチファクトや歪みが少ない。
• アブレーションスタディの結果、スプリット畳み込みが性能向上に最も寄与しており、次に角方向アテンションとReLU活性化関数が続く。
• 角方向アテンション機構は、角度間でほぼ均等な重み付けに収束しており、データセットに統計的角方向不変性が存在することを示唆しているが、依然として明確な性能向上が得られている。
• 定量的指標（PE、ワルシャワ距離、PCC）は、テストオブジェクトの全層にわたり、動的手法が静的ベースラインを一貫して上回ることを示している。
• ReLUをtanh活性化関数に置き換えても性能変化は僅かであり、ReLUの役割が他の要素ほど重要ではないことを示唆している。
• 本手法は強い散乱と複雑な3次元構造に対しても効果的に対処できており、医療、生物学的、産業用イメージング分野への応用に有望である。