[論文レビュー] Deep Learning Improves Template Matching by Normalized Cross Correlation

Davit Buniatyan, Thomas Macrina+3 more|arXiv (Cornell University)|May 24, 2017

Advanced Image and Video Retrieval Techniques参考文献 7被引用数 9

ひとこと要約

この論文では、真の一致と偽の一致を区別するように学習されたシアンプス型畳み込みニューラルネットワークを用いて、画像を前処理することで、正規化相互相関（NCC）テンプレートマッチングを向上させる深層学習アプローチを提案している。本手法は、バンドパスフィルタリングと比較して偽マッチを2–7倍低減し、真の一致の破棄率がたった0.12%に抑えられ、ほぼゼロの偽陽性を達成する。これは、高精度なコネクトミクス応用において著しく高い耐障害性を実現する。

ABSTRACT

Template matching by normalized cross correlation (NCC) is widely used for finding image correspondences. We improve the robustness of this algorithm by preprocessing images with "siamese" convolutional networks trained to maximize the contrast between NCC values of true and false matches. The improvement is quantified using patches of brain images from serial section electron microscopy. Relative to a parameter-tuned bandpass filter, siamese convolutional networks significantly reduce false matches. Furthermore, all false matches can be eliminated by removing a tiny fraction of all matches based on NCC values. The improved accuracy of our method could be essential for connectomics, because emerging petascale datasets may require billions of template matches to assemble 2D images of serial sections into a 3D image stack. Our method is also expected to generalize to many other computer vision applications that use NCC template matching to find image correspondences.

研究の動機と目的

• シリアルセクション電子顕微鏡（EM）における正規化相互相関（NCC）テンプレートマッチングの耐障害性を向上させること。偽マッチは3次元再構成の正確性に深刻な影響を及える可能性がある。
• EMデータに一般的に見られる画像歪み、損傷、強度の変動の影響を受ける中で、NCCベースの対応関係検出における偽陽性マッチを低減すること。
• 正確な真のマッチ位置のラベルを必要としない弱教師付きの深層学習手法を開発し、NCCの性能を向上させること。
• NCC出力をより識別性高くすることで、偽マッチの排除効率を向上させ、フィルタリング段階での真の一致の損失を最小限に抑えること。
• ペタスケールのEM画像スタックのスケーラブルかつ高スループットなアライメントを可能にすること。誤り率をほぼゼロに抑えつつ、真の対応関係情報の最大限の保持を実現すること。

提案手法

• シアンプス型畳み込みニューラルネットワークを、真のマッチと偽のマッチのNCCスコアの対比を最大化するように学習させ、弱教師付き学習を用いる。具体的には、真のマッチが存在することは知っているが、その位置は不明である。
• ネットワークはテンプレート画像とソース画像の両方を処理し、ミトコンドリアのような特徴を強調すると同時に、直線的なエッジや均一な領域といった局所化不能な構造を抑制する。
• 前処理済みの画像を標準的な3次元NCCに供給し、正規化相互相関グラムを計算する。この際、ピーク高さ（r_max）とピーク幅（r_delta）がマッチング品質と局所化精度を示す。
• 偽マッチはNCC出力のしきい値に基づいて除外される。本手法は、従来のバンドパスフィルタリングと比較して優れた排除効率を示している。
• 学習の目的関数は、真のマッチが明確に局所化され、高いスコアを得るようにネットワークを促進する。一方、偽マッチは抑制され、局所化が不十分になるように設計されている。
• 本手法は、異なるテンプレートサイズやアライメントタスク（隣接セクション vs. セクション間）に一般化でき、画像変形やノイズの程度が異なる状況でも耐障害性を示している。

実験結果

リサーチクエスチョン

• RQ1 深層学習は、シリアルセクション電子顕微鏡における正規化相互相関（NCC）テンプレートマッチングの耐障害性を向上させることができるか？
• RQ2 シアンプス型畳み込みネットワークによる前処理は、従来のバンドパスフィルタリングと比較して、NCCベースの対応関係検出における偽陽性マッチを低減するか？
• RQ3 深層学習で前処理された画像からのNCC出力を、真のマッチの割合をより高く保持したまま、偽マッチの排除により効率的に利用できるか？
• RQ4 本手法は、異なるテンプレートサイズやアライメントの難易度（例：隣接セクション vs. セクション間）にどの程度一般化できるか？
• RQ5 ネットワークが強調する画像特徴は何か？また、それらの特徴は、局所化の向上と偽マッチの低減にどのように寄与するか？

主な発見

• シアンプス型畳み込みネットワークは、バンドパスフィルタリングと比較して、偽マッチ率を2–7倍低減し、誤り率を0.05%～0.30%にまで低下させた。
• 本手法は、排除効率を3.5倍向上させた。隣接224pxのケースでは、偽マッチを完全に排除するために真のマッチの0.12%しか破棄しなくてよくなったが、バンドパスフィルタリングでは0.40%が必要だった。
• 最も挑戦的なタスク（セクション間、160pxテンプレート）では、バンドパスフィルタリングでは真のマッチの20%を破棄する必要があったが、深層学習手法では1%未満で十分だった。
• ネットワークは、ミトコンドリアのようなキーポイントに似た特徴を的確に特定・強調し、直線的な細胞膜や血管などの局所化不能な構造を効果的に抑制した。
• テンプレートに顕著なキーポイントが欠如している場合（例：細胞体が支配的）にネットワークの失敗が観察されたが、このようなケースはまれであり、特定のデータ拡張により緩和可能であった。
• 本手法は訓練タスクをはるかに超えて一般化でき、より簡単な（隣接）およびより難しい（セクション間）のアライメントタスクにおいても、バンドパスフィルタリングを上回る性能を示した。