[論文レビュー] Multi-Frame Super-Resolution Reconstruction with Applications to Medical Imaging

Thomas Köhler|arXiv (Cornell University)|Dec 21, 2018

Advanced Image Processing Techniques被引用数 9

ひとこと要約

本稿では、部分画素の動きと信頼度に配慮したモデリングを活用して、低解像度の動画シーケンスから医療画像の解像度を向上させる、ロバストでベイジアンなマルチフレームスーパーレゾリューションフレームワークを提案する。不正確な動き推定下でもPSNRを0.7 dB向上させ、複数の色チャネルを統合して処理する際には1.5 dB向上を達成し、網膜画像や手術用レンジセンシングへの応用が検証された。

ABSTRACT

The optical resolution of a digital camera is one of its most crucial parameters with broad relevance for consumer electronics, surveillance systems, remote sensing, or medical imaging. However, resolution is physically limited by the optics and sensor characteristics. In addition, practical and economic reasons often stipulate the use of out-dated or low-cost hardware. Super-resolution is a class of retrospective techniques that aims at high-resolution imagery by means of software. Multi-frame algorithms approach this task by fusing multiple low-resolution frames to reconstruct high-resolution images. This work covers novel super-resolution methods along with new applications in medical imaging.

研究の動機と目的

• 臨床現場におけるハードウェア制限に起因する低解像度医療画像の課題に対処すること。
• 自然な眼球運動を活用して網膜動画の解像度を向上させ、眼科診断の正確性を向上させること。
• マルチセンサーフュージョンを用いて、画像誘導手術におけるレンジセンサの解像度制限を克服すること。
• 動き誤差や空間的に変化するノイズといった実世界の劣化要因に対しても耐性を持つスーパーレゾリューションアルゴリズムを開発すること。
• 実用的医療システムへの導入を可能にする、自動的かつハイパーパrameterフリーの最適化を実現すること。

提案手法

• 外れ値（例：画像形成における無効ピクセル）を適切に扱える信頼度に配慮したベイジアン観測モデルを構築する。
• 自然画像の統計的特徴をよりよくモデル化できるように、適応的スパース正則化事前分布を導入する。
• 変分ベイズ推論を用いた完全自動のハイパーパrameter選択戦略を開発する。
• 低解像度フレーム間の部分画素シフトに基づくスーパーレゾリューションを適用する。
• ガイドデータ（例：カラー画像）を用いて動き推定と正則化を実施する、マルチモーダルスーパーレゾリューションへの拡張を提案する。
• ガイドなしで複数モダリティの同時スーパーレゾリューションを可能とする一般化手法を構築し、クロスモダリティ強化を実現する。

実験結果

リサーチクエスチョン

• RQ1 臨床的画像処理において、不正確な動き推定や空間的に変化するノイズに対して、どのようにスーパーレゾリューションを耐障害性を持たせられるか？
• RQ2 画像データ内に外れ値や損傷ピクセルが存在する場合、信頼度に配慮したモデリングがスーパーレゾリューション性能を向上させられるか？
• RQ3 医療画像応用において、統合的マルチモダリティスーパーレゾリューションは単一モダリティ手法を上回る性能を示せるか？
• RQ4 網膜動画における自然な眼球運動をどれだけ活用すれば、高解像度再構成を達成できるか？
• RQ5 高解像度カラー画像をガイドとして用いることで、低解像度の飛行時間（ToF）センサから高解像度レンジデータを信頼性高く再構成できるか？

主な発見

• 不正確な動き推定下でも、最先端手法比でPSNRを0.7 dB向上させ、耐障害性を実証した。
• 複数色チャネルを統合して処理するジョイントカラーチャネルスーパーレゾリューションにおいて、従来のチャネル別処理よりPSNRが1.5 dB向上した。
• 前処理として本フレームワークを用いることで、自動網膜血管分離の平均感度が10%向上した。
• 画像誘導手術の応用において、マルチセンサースーパーレゾリューション手法は、原始的なToFデータに比べ、表面および深度の不連続性測定の信頼性をそれぞれ24%および68%向上させた。
• 完全自動のハイパーパrameter選択機構により、手動チューニングの必要がなくなり、臨床ワークフローへの実用的導入が可能になった。
• 信頼度に配慮した観測モデルは、破損したピクセルなどの外れ値を効果的に処理し、再構成の忠実度を向上させた。