[논문 리뷰] Adversarial Image Alignment and Interpolation

Viren Jain|arXiv (Cornell University)|2017. 06. 30.

Advanced Image Processing Techniques참고 문헌 9인용 수 5

한 줄 요약

이 논문은 3D 미세구조 영상 데이터에서 비지도적 이미지 보간 및 미세 해상도 정렬을 수행하기 위해 완전 컨volution 신경망을 사용하는 새로운 적대적 딥러닝 접근법을 제안한다. 적대적 손실과 지도 학습 픽셀 손실을 결합함으로써, 손상되거나 누락된 영상 섹션을 합성하고 이방성 해상도를 보정하여 지도 학습을 위한 정답 정렬 레이블 없이도 블록면 전자현미경 데이터의 고해상도 초해상도 재구성에 성공한다.

ABSTRACT

Volumetric (3d) images are acquired for many scientific and biomedical purposes using imaging methods such as serial section microscopy, CT scans, and MRI. A frequent step in the analysis and reconstruction of such data is the alignment and registration of images that were acquired in succession along a spatial or temporal dimension. For example, in serial section electron microscopy, individual 2d sections are imaged via electron microscopy and then must be aligned to one another in order to produce a coherent 3d volume. State of the art approaches find image correspondences derived from patch matching and invariant feature detectors, and then solve optimization problems that rigidly or elastically deform series of images into an aligned volume. Here we show how fully convolutional neural networks trained with an adversarial loss function can be used for two tasks: (1) synthesis of missing or damaged image data from adjacent sections, and (2) fine-scale alignment of block-face electron microscopy data. Finally, we show how these two capabilities can be combined in order to produce artificial isotropic volumes from anisotropic image volumes using a super-resolution adversarial alignment and interpolation approach.

연구 동기 및 목표

• 수동 또는 전통적인 최적화 기반 정렬이 시간이 오래 걸리고 확장 가능한 감독이 부족한, 이방성 블록면 전자현미경에서 유래한 3D 부피 영상 데이터의 정렬 및 보간 문제를 해결하기 위해.
• 인간 레이블링에 소요되는 비용을 피하기 위해 적대적 훈련을 활용해 영상 합성과 정렬을 위한 지도 학습이 없는 프레임워크를 개발하기 위해.
• 보간과 정렬을 하나의 종단 간 적대적 네트워크로 통합하여 이방성 입력에서 등방성 3D 부피를 초해상도 재구성할 수 있도록 하기 위해.
• 기본적인 네트워크 아키텍처에서도 표준 지도 학습 손실을 넘어서 적대적 손실이 시각적 품질과 미세 해상도 정렬을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 완전 컨volution 신경망이 인접한 슬라이스(k-1 및 k+1)를 기반으로 누락된 2D 영상 슬라이스를 L1 픽셀 수준 손실과 적대적 손실의 조합을 사용해 보간하도록 훈련된다.
• 적대적 손실은 생성된 영상에 적용되어 현실감 있고 구조적으로 일관된 결과를 유도함으로써 픽셀 수준 재구성 이상의 시각적 품질 향상을 달성한다.
• 별도의 적대적 정렬 네트워크는 픽셀 수준 일관성과 적대적 현실감을 동시에 최적화하여 인접한 슬라이스 간의 미세 변형을 예측하도록 훈련된다.
• 초해상도 정렬 및 보간 네트워크는 전치 3D 컨볼루션과 스kip 연결을 통해 업샘플링을 수행하고, 적대적 훈련을 통해 이방성 입력에서 등방성 3D 부피를 생성한다.
• 구분자(discriminator)는 다양한 방향성에서 일관된 특징 학습을 보장하기 위해 재스라이싱된 평면(xz 및 yz)에 적용되며, 일관된 입력 크기를 유지하기 위해 자르기(cropping)를 수행한다.
• 훈련은 생성자(generator)와 구분자(discriminator) 간의 최소 최대(minimax) 목적함수를 사용하며, 통합된 초해상도 모델에서 보간 및 정렬 목표를 함께 최적화한다.

실험 결과

연구 질문

• RQ1 기본적인 지도 학습보다 적대적 훈련이 3D 미세구조 영상 스택 내 보간된 2D 영상 슬라이스의 시각적 품질과 구조적 정밀도를 얼마나 향상시킬 수 있는가?
• RQ2 지정된 변형 레이블이 없이도 적대적 손실 함수가 비지도적 방식으로 부피 영상 데이터의 정렬에 효과적으로 기여할 수 있는가?
• RQ3 단일 신경망이 보간과 정렬을 동시에 수행하여 이방성 입력에서 등방성 3D 부피를 초해상도로 재구성할 수 있는 정도는 어느 정도인가?
• RQ4 적대적 손실과 픽셀 수준 손실의 조합이 블록면 전자현미경에서 재구성된 3D 부피의 현실감과 정확도에 어떤 영향을 미치는가?
• RQ5 이 방법은 누락되거나 손상된 슬라이스를 포함한 실제 데이터에 일반화될 수 있으며, 전통적인 정렬 파이프라인과 비교해 어떤가?

주요 결과

• 제안된 적대적 보간 네트워크는 단순한 아키텍처임에도 불구하고 기준 지도 학습 모델에 비해 합성 슬라이스의 시각적 품질과 구조적 정밀도를 크게 향상시킨다.
• 적대적 정렬 네트워크는 정답 레이블이 없이도 현실적인 변형 장치를 학습함으로써 블록면 현미경 데이터의 미세 해상도 정렬을 달성한다.
• 초해상도 적대적 정렬 및 보간 네트워크는 이방성 입력에서 등방성 3D 부피를 성공적으로 생성하여 z축 해상도를 두 배로 높이면서도 구조적 일관성을 유지한다.
• 마우스 neocortex 데이터에 대한 실험 결과, 이 방법은 잡음이 적고 슬라이스 간 연속성이 향상된 시각적으로 현실적인 출력을 생성한다.
• 적대적 손실과 L1 손실의 조합은 복잡한 조직 형태가 있는 영역에서 각각의 손실만 사용하는 것보다 더 선명하고 현실적인 재구성을 이룬다.
• 이 방법은 누락되거나 손상된 슬라이스에 대해 강건성을 보이며, 이웃 섹션을 바탕으로 타당한 이미지 내용을 효과적으로 유추한다.