[論文レビュー] Siamese Encoding and Alignment by Multiscale Learning with Self-Supervision

Eric Mitchell, Stefan Keselj+3 more|arXiv (Cornell University)|Apr 4, 2019

Advanced Electron Microscopy Techniques and Applications参考文献 16被引用数 13

ひとこと要約

本稿では、シアンプル畳み込みエンコーダーとマルチスケールアライメントモジュールを用いた自己教師あり、粗くから細かくまでの画像アライメント手法であるSEAMLeSSを提案する。画像ピラミッドに依存するのではなく階層的特徴表現を学習することで、特に連続断片電子顕微鏡データにおける大規模な変位および不連続な変形を扱う際、SPyNet や 1ショット手法（例：FlowNet）よりも優れた精度を達成する。

ABSTRACT

We propose a method of aligning a source image to a target image, where the transform is specified by a dense vector field. The two images are encoded as feature hierarchies by siamese convolutional nets. Then a hierarchy of aligner modules computes the transform in a coarse-to-fine recursion. Each module receives as input the transform that was computed by the module at the level above, aligns the source and target encodings at the same level of the hierarchy, and then computes an improved approximation to the transform using a convolutional net. The entire architecture of encoder and aligner nets is trained in a self-supervised manner to minimize the squared error between source and target remaining after alignment. We show that siamese encoding enables more accurate alignment than the image pyramids of SPyNet, a previous deep learning approach to coarse-to-fine alignment. Furthermore, self-supervision applies even without target values for the transform, unlike the strongly supervised SPyNet. We also show that our approach outperforms one-shot approaches to alignment, because the fine pathways in the latter approach may fail to contribute to alignment accuracy when displacements are large. As shown by previous one-shot approaches, good results from self-supervised learning require that the loss function additionally penalize non-smooth transforms. We demonstrate that "masking out" the penalty function near discontinuities leads to correct recovery of non-smooth transforms. Our claims are supported by empirical comparisons using images from serial section electron microscopy of brain tissue.

研究の動機と目的

• SPyNet の限界、特に大規模な変位に敏感であることや強い教師付き学習に依存していることに対処する。
• 細分化されたパスウェイの受容 field が限られているため、大規模な変位では失敗する 1ショットアライメント手法（例：FlowNet）を克服する。
• 教師あり変換が存在しないデータセットへの適用可能性を広げるために、ラベル付き対応関係が欠落した状態でも自己教師あり学習が可能な画像アライメントを可能にする。
• 物理的切断によって生じる複雑で滑らかでない変形を示す連続断片電子顕微鏡（ssEM）画像のアライメントを改善する。
• 不連続な変形（例：物体境界での変形）を正しく回復できるように、不連続性の近くで滑らかさ罰則をマスクすることで、非滑らか変形の回復を可能にする。

提案手法

• 複数スケールで階層的特徴マップを生成するため、元画像とターゲット画像の両方をシアンプル畳み込みニューラルネットワークで符号化する。
• 各アライナーモジュールが粗いレベルからの出力を用いて変換を精緻化する、粗くから細かくまでの再帰的アーキテクチャを採用する。
• 元画像（変形後）とターゲット画像の二乗誤差を最小化することで、エンコーダー・アライナーネットワーク全体を自己教師ありで学習する。
• 滑らかさを促進するため損失関数に非滑らかさ罰則を導入するが、不連続性が検出された周辺ではこの罰則をマスクすることで、非滑らかな変形の回復を許容する。
• マルチスケール最適化戦略を採用：アライメントを最高解像度のMIPレベルで初期化し、変換を低レベルにまでアップサンプリングして精緻化する。
• 生のピクセルピラミッドではなく、学習された特徴を用いることで、グローバルな文脈を保持し、アライメント精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり設定において、画像ピラミッドと比較してシアンプル特徴符号化がアライメント精度を向上させられるか？
• RQ2 学習された特徴を用いた粗くから細かくまでの再帰的アーキテクチャが、大規模な変位において 1ショット手法（例：FlowNet）を上回る性能を発揮できるか？
• RQ3 非滑らかさ罰則をマスクした自己教師あり学習により、ssEM画像の物体境界における非滑らかな変形を正しく回復できるか？
• RQ4 自己教師あり学習において、不連続性の近くでの非滑らかさ罰則のマスクが、不連続変形の回復に不可欠であるか？
• RQ5 推論時の直接最適化と比較して、SEAMLeSS の性能（精度と計算コスト）はどの程度か？

主な発見

• SEAMLeSS は、特に高解像度のMIPレベルにおいて SPyNet よりも高いアライメント精度を達成しており、シアンプル特徴符号化が画像ピラミッドよりもより有用なグローバルコンテキストを保持していることを示している。
• 細分化されたパスウェイの受容 field が限られているにもかかわらず、FlowNet や VoxelMorph といった 1ショット手法よりも優れた性能を発揮している。
• マスクされた非滑らかさ罰則を用いた自己教師あり学習により、ssEM画像における亀裂境界での不連続な変形を正しく回復できるようになった。
• 推論時の直接最適化と比較して、SEAMLeSS は約2桁速く、競争力のある精度を維持している。
• 推論時の直接最適化は平均的および最良ケース性能では優れていたが、粗いレベルでの局所最適解に陥り、最悪ケースでは完全に失敗した。
• 学習された特徴を用いた再帰的でマルチスケールの精緻化は、1ショット手法および直接最適化手法よりもより頑健で正確なソリューションを提供する。