[論文レビュー] 3D Field of Junctions: A Noise-Robust, Training-Free Structural Prior for Volumetric Inverse Problems

Namhoon Kim, Narges Moeini+2 more|arXiv (Cornell University)|Mar 2, 2026

Advanced Electron Microscopy Techniques and Applications被引用数 0

ひとこと要約

トピックの要約: トレーニングを要さない3D Field of Junctions (3D FoJ) 表現を導入し、幻覚リスクなしに低SNR体積をデノイズ化・正規化。さまざまな逆問題に対してドロップイン型 proximal prior として機能。

ABSTRACT

Volume denoising is a foundational problem in computational imaging, as many 3D imaging inverse problems face high levels of measurement noise. Inspired by the strong 2D image denoising properties of Field of Junctions (ICCV 2021), we propose a novel, fully volumetric 3D Field of Junctions (3D FoJ) representation that optimizes a junction of 3D wedges that best explain each 3D patch of a full volume, while encouraging consistency between overlapping patches. In addition to direct volume denoising, we leverage our 3D FoJ representation as a structural prior that: (i) requires no training data, and thus precludes the risk of hallucination, (ii) preserves and enhances sharp edge and corner structures in 3D, even under low signal to noise ratio (SNR), and (iii) can be used as a drop-in denoising representation via projected or proximal gradient descent for any volumetric inverse problem with low SNR. We demonstrate successful volume reconstruction and denoising with 3D FoJ across three diverse 3D imaging tasks with low-SNR measurements: low-dose X-ray computed tomography (CT), cryogenic electron tomography (cryo-ET), and denoising point clouds such as those from lidar in adverse weather. Across these challenging low-SNR volumetric imaging problems, 3D FoJ outperforms a mixture of classical and neural methods.

研究の動機と目的

• severe noise を受ける多様なモダリティ下での 3D ボリュームの堅牢なデノイズと再構成を動機づける。
• エッジとコーナーを3Dボリューム内に preserving する、トレーニング不要の明示的な3D 構造的 prior を提案する。
• 近傍勾配法と統合可能な、patch ベースの効率的な 3D FoJ モデルを開発する。
• 低線量 CT、cryo-ET、ノイズのある点群での手法の有効性を実証する。
• 体積問題のドロップイン正則化子としてのスケーラビリティと潜在的な適用性を強調する。

提案手法

• 各体積パッチを、パッチを3Dウェッジに分割する3つの交差する平面で表現し、 Regions毎に一定値を持つ3Dウェッジとして表現することで、Field of Junctions を3Dに拡張する。
• 局所適合性を保ちつつパッチ間の一貫性を促進する目的で、データ適合性、境界整合、パッチ間強度の一貫性を課す目的関数を用いて、パッチ毎の junction パラメータと region 値を最適化する。
• 微分可能なソフト指標と微分可能な境界マップを用いて、局所初期化とグローバル結合リファインメントという2段階の勾配法最適化を可能にする。
• 3D FoJ が正則化子として機能する逆問題を解くための proximal gradient フレームワークを採用し、データ適合性の勾配ステップの後に FoJ ベースの近端ステップを適用して x を更新する。
• 高解像度体積とパッチを処理するためのマルチGPU並列性を可能にする。

Figure 1 : Our 3D Field of Junctions (3D FoJ) is an effective volumetric denoiser across diverse inverse problems: low-dose computed tomography ( top row ), cryogenic electron tomography ( middle row ), and point cloud denoising ( bottom row ). Our cryo-ET experiment uses real data for which noisele

実験結果

リサーチクエスチョン

• RQ1 トレーニング不要の3D 構造的 prior は、極度のノイズ下でも多様な体積の鮮明な3D境界を保持できますか？
• RQ2 3D FoJ は従来法やニューラル法と比較して、デノイジングおよび体積逆問題における正則化子としてどのように機能しますか？
• RQ3 3D FoJ prior は、低SNR の CT、cryo-ET、LIDAR様点群で幾何学的忠実性を保持しますか？
• RQ4 パッチサイズ、平面数（M）、平滑化パラメータが再構成品質と効率に与える影響は？
• RQ5 この方法は、トモグラフィ以外のさまざまなノイズ付き体積逆問題へのドロップイン正則化子として Generalize できますか？

主な発見

Method	P50 MS-SSIM (2D projections)	P100 MS-SSIM (2D projections)	P1000 MS-SSIM (2D projections)	P50 3D PSNR	P100 3D PSNR	P1000 3D PSNR
2D MS-SSIM	0.703	0.739	0.829	—	—	—
3D-TV	—	—	—	13.79	15.31	16.96
R2-Gaussian	—	—	—	15.29	15.29	15.87
Filter2Noise	—	—	—	11.61	15.13	14.64
3D FoJ (ours)	0.754	0.788	0.838	15.88	16.14	16.72

• 3D FoJ は、低SNR の CT データセットにおいて、2D 投影での MS-SSIM が高く、3D ボリュームでの PSNR も高くなる傾向を示す。
• 低線量 CT における Photon-count レベル P50, P100, P1000 で、3D FoJ は Projection-based および volumetric な指標の両方で R2-Gaussian、Filter2Noise、3D-TV を上回る。
• cryo-ET では、3D FoJ は SC-Net、NMSG、NLM と比較してノイズ低減とコントラスト増強のバランスを取ったまま、細部構造を定性的に保持する。
• 点群デノイジングでは、3D FoJ はさまざまなノイズ区で Chamfer Distance の性能が競争力を持ち、外れ値ノイズや拡散ノイズに対してロバスト性を示す。
• 総じて、3D FoJ は堅牢なトレーニング不要デノイジングを提供し、ノイズを含む3D逆問題に対する効果的な正則化子として機能する。

Figure 4 : Comparison of unseen projection views synthesized from reconstructed 3D volumes (top) and slice views of reconstructed 3D volumes (bottom) for the engine dataset under low-SNR ( P50 ) conditions.