[논문 리뷰] Siamese Encoding and Alignment by Multiscale Learning with Self-Supervision

Eric Mitchell, Stefan Keselj외 3명|arXiv (Cornell University)|2019. 04. 04.

Advanced Electron Microscopy Techniques and Applications참고 문헌 16인용 수 13

한 줄 요약

이 논문은 시아미즈 컨volutional 인코더와 다중 척도 정렬 모듈을 사용하는 자기지도 학습, 굵은 것에서 끈적임으로의 이미지 정렬 방법인 SEAMLeSS를 제안한다. 이미지 피라미드에 의존하는 대신 계층적 특징 표현을 학습함으로써, 특히 순차적 단면 전자현미경 데이터에서 큰 이동과 비연속적 변형을 처리할 때 SPyNet과 유사한 한방 방법(예: FlowNet)보다 뛰어난 정확도를 달성한다.

ABSTRACT

We propose a method of aligning a source image to a target image, where the transform is specified by a dense vector field. The two images are encoded as feature hierarchies by siamese convolutional nets. Then a hierarchy of aligner modules computes the transform in a coarse-to-fine recursion. Each module receives as input the transform that was computed by the module at the level above, aligns the source and target encodings at the same level of the hierarchy, and then computes an improved approximation to the transform using a convolutional net. The entire architecture of encoder and aligner nets is trained in a self-supervised manner to minimize the squared error between source and target remaining after alignment. We show that siamese encoding enables more accurate alignment than the image pyramids of SPyNet, a previous deep learning approach to coarse-to-fine alignment. Furthermore, self-supervision applies even without target values for the transform, unlike the strongly supervised SPyNet. We also show that our approach outperforms one-shot approaches to alignment, because the fine pathways in the latter approach may fail to contribute to alignment accuracy when displacements are large. As shown by previous one-shot approaches, good results from self-supervised learning require that the loss function additionally penalize non-smooth transforms. We demonstrate that "masking out" the penalty function near discontinuities leads to correct recovery of non-smooth transforms. Our claims are supported by empirical comparisons using images from serial section electron microscopy of brain tissue.

연구 동기 및 목표

• SPyNet의 한계, 특히 큰 이동에 민감하고 강한 지도 학습에 의존하는 점을 해결한다.
• 세부 경로의 수용장이 제한되어 큰 이동에서 성능이 떨어지는 유사한 한방 정렬 방법(예: FlowNet)의 실패를 극복한다.
• 정답 변환값이 없는 데이터셋에 적용 가능하도록, 지도 없는 정렬을 위한 자기지도 학습을 가능하게 한다.
• 물리적 절단으로 인해 복잡하고 비연속적인 변형을 보이는 순차적 단면 전자현미경(ssEM) 이미지의 정렬을 향상시킨다.
• 불연속성 근처에서 비연속성 페널티를 마스킹하여, 객체 경계와 같은 곳에서 비연속적인 변환을 정확히 복구할 수 있도록 한다.

제안 방법

• 소스 및 타겟 이미지를 다중 척도에서 계층적 특징 맵으로 인코딩하기 위해 시아미즈 컨volutional 신경망을 사용한다.
• 각 정렬 모듈이 더 굵은 수준의 출력을 기반으로 변환을 개선하는 계층적-부터-세밀한 수준의 반복 아키텍처를 적용한다.
• 소스 이미지를 워핑한 결과와 타겟 이미지 간의 제곱오차를 최소화함으로써, 전체 인코더-정렬 네트워크를 자기지도 학습 방식으로 훈련시킨다.
• 연속적인 변환을 장려하기 위해 손실 함수에 비연속성 페널티를 도입하지만, 감지된 불연속성 근처에서는 이 페널티를 마스킹하여 비연속적 변형의 복구를 허용한다.
• 다중 척도 최적화 전략을 사용한다: 정렬을 최고 수준의 MIP에서 초기화하고, 변환을 더 낮은 수준에서 업샘플링하여 정밀하게 개선한다.
• 원시 픽셀 피라미드 대신 학습된 특징을 활용하여 전역적 맥락을 유지하고 정렬 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 자기지도 설정에서 이미지 피라미드 대비 시아미즈 특징 인코딩이 정렬 정확도를 향상시키는가?
• RQ2 학습된 특징을 사용하는 계층적-부터-세밀한 반복 아키텍처가 큰 이동에서 FlowNet과 같은 한방 방법보다 우수한가?
• RQ3 비연속성 페널티를 마스킹한 자기지도 학습이 ssEM 이미지의 객체 경계에서와 같은 비연속적 변형을 정확히 복구할 수 있는가?
• RQ4 불연속성 근처에서 비연속성 페널티를 마스킹하는 것이 자기지도 학습에서 비연속적 변환을 복구하는 데 필수적인가?
• RQ5 정확도와 계산 비용 측면에서 SEAMLeSS의 성능은 추론 시 직접 최적화와 비교해 어떻게 되는가?

주요 결과

• SEAMLeSS는 특히 고수준 MIP에서 SPyNet보다 정렬 정확도에서 뛰어나, 시아미즈 특징 인코딩이 이미지 피라미드보다 더 유용한 전역 맥락을 유지함을 보여준다.
• 비록 세부 경로의 수용장이 제한되어 큰 이동에서 실패하는 한방 방법(예: FlowNet, VoxelMorph)보다도 뛰어난 성능을 달성한다.
• 마스킹된 비연속성 페널티를 사용한 자기지도 학습을 통해, ssEM 이미지의 균열 경계에서 비연속적 변형을 정확히 복구할 수 있다.
• SEAMLeSS는 추론 시 직접 최적화보다 약 두 개의 지수 차수(약 100배) 빠르며, 경쟁 가능한 정확도를 유지한다.
• 직접 최적화는 평균 및 최고 성능는 뛰어나지만, 굵은 수준에서 국소 최적점에 갇혀 치명적인 실패를 겪는다.
• 학습된 특징을 사용하는 반복적이고 다중 척도 정렬은 한방 및 직접 최적화 방법보다 더 강인하고 정확한 솔루션을 제공한다.