[論文レビュー] Image registration and super resolution from first principles

Colin B. Clement, Matthew Bierbaum+1 more|arXiv (Cornell University)|Sep 14, 2018

Advanced Image Processing Techniques参考文献 25被引用数 4

ひとこと要約

本論文では、潜在的画像をモデル化し、それをノイズのあるデータに一致させるようにずらすことで、Cramér-Rao下界（CRB）を達成しバイアスを排除するベイジアン画像登録手法であるSuper Registration（SR）を提案する。標準的手法が直接画像をずらすため、ノイズのスケーリングが2次的に増大し、精度が制限されるのに対し、SRはスーパーレゾリューションと登録の原則を最適に組み合わせ、粒子追跡の精度を最大10倍向上する。

ABSTRACT

Image registration is the inference of transformations relating noisy and distorted images. It is fundamental in computer vision, experimental physics, and medical imaging. Many algorithms and analyses exist for inferring shift, rotation, and nonlinear transformations between image coordinates. Even in the simplest case of translation, however, all known algorithms are biased and none have achieved the precision limit of the Cramer Rao bound (CRB). Following Bayesian inference, we prove that the standard method of shifting one image to match another cannot reach the CRB. We show that the bias can be cured and the CRB reached if, instead, we use Super Registration: learning an optimal model for the underlying image and shifting that to match the data. Our theory shows that coarse-graining oversampled images can improve registration precision of the standard method. For oversampled data, our method does not yield striking improvements as measured by eye. In these cases, however, we show our new registration method can lead to dramatic improvements in extractable information, for example, inferring $10 imes$ more precise particle positions.

研究の動機と目的

• 観測された画像登録誤差と理論的Cramér-Rao下界（CRB）との間の長年の不一致を解消すること。
• 標準的な画像登録手法におけるバイアスの根本的要因、特にずれの不確実性におけるノイズの2次スケーリングの原因を特定すること。
• 観測データを直接ずらすのではなく、真の画像をモデル化することでCRBを達成する登録手法を開発すること。
• 粗粒度化（coarse-graining）が精度を向上させられることを示し、ベイジアン推論による最適なモデル選択が登録においてスーパーレゾリューションに類似した性能を実現できることを示すこと。
• 粒子追跡やマルチモodal医療画像処理など、精度が重要な実用的応用にこの手法を拡張すること。

提案手法

• 本手法は、画像登録をベイジアン推論問題として定式化し、真の画像 I を潜在変数としてモデル化し、ずれ Δ が観測されたノイズのある画像 φ と ψ と最も一致するように推定する。
• データとモデルの二乗差に基づく尤度関数を用い、p(φ,ψ|Δ,I) ∝ exp(−1/(2σ²)(||φ−I||² + ||ψ−TΔI||²)) と定式化し、潜在画像 I に対して周辺化する。
• SRは、I のためのフーリエ級数またはチェビシェフ多項式モデルを用い、証拠を最大化するようにモデルの複雑さ M をベイジアンモデル選択により選択する。
• ずれ Δ は非線形最小二乗法（例：Levenberg-Marquardt）を用いて後確率 p(Δ|φ,ψ) を最適化することで推定され、直接的な画像ずらしによるバイアスを回避する。
• L枚の画像に対して O(LNM) の計算量となるが、確率的勾配降下法やGPU加速によりさらなる最適化が可能である。
• 画像形成プロセスをモデル化することで、チェーンルールを適用し、非剛性変換やマルチモーダル画像処理への一般化を実現する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的手法では、低ノイズ領域においても理論的Cramér-Rao下界（CRB）よりも顕著に大きなバイアスと誤差を示すのか？
• RQ2 標準登録におけるずれの不確実性の2次的ノイズスケーリングの根本的要因は何か？ これはCRBが予測する線形スケーリングとはどのように異なるのか？
• RQ3 データの粗粒度化は登録精度を向上させられるか？ どのような条件下でこれが有効なのか？
• RQ4 観測されたノイズのある画像を直接比較する代わりに、真の画像をモデル化することで、ずれ推定においてCRBに達することが可能か？
• RQ5 Super Registrationは、粒子追跡などの下流タスクにおいてどれほど精度を向上させられるのか？ その向上率はどの程度か？

主な発見

• 1枚の画像をもう1枚にずらす標準的手法は根本的にバイアスを有し、エッジ効果とノイズに起因する分散の2次的増大のため、Cramér-Rao下界に到達できない。
• 過サンプリングされた画像を粗粒度化することでずれの精度を顕著に向上させられるが、これは真の画像の最高周波数が事前に分かっている場合に限る。
• 真の画像をモデル化し、それをデータに一致させるようにずらすSuper Registration（SR）は、周期的および非周期的画像の両方でCramér-Rao下界に達し、バイアスを排除する。
• 周期的画像では、SRにおけるフーリエ級数モデルがCRBと整合するずれ誤差を達成し、理論的最適性を裏付ける。
• 非周期的画像では、チェビシェフ多項式モデルを用いるSRは、視覚的品質の向上がほとんどない場合でも、標準手法に比べてバイアスと期待誤差を低減する。
• SRで再構築された画像を用いた粒子追跡は、標準登録に比べて最大10倍の高い精度を達成し、実験物理学および顕微鏡法における実用的インパクトを示している。