[논문 리뷰] Stereo Endoscopic Image Super-Resolution Using Disparity-Constrained Parallel Attention

Tianyi Zhang, Yun Gu외 3명|arXiv (Cornell University)|2020. 03. 19.

Advanced Image Processing Techniques참고 문헌 9인용 수 4

한 줄 요약

이 논문은 슈퍼해상도 과정에서 스테레오 대응 관계를 유지하기 위해 이질성 제약을 가진 병렬 주의 메커니즘을 활용하는 DCSSRnet이라는 스테레오 내 endoscopic 영상 초해상도 네트워크를 제안한다. 아트로우스 파라렐랙스-주의 모듈을 사용하고 저해상도 및 고해상도 이질성 맵 간 일관성을 강제함으로써, 복강경 영상 데이터셋에서 최신 기술 수준의 성능을 달성하며 PSNR 및 SSIM 지표에서 기존 방법들을 능가한다.

ABSTRACT

With the popularity of stereo cameras in computer assisted surgery techniques, a second viewpoint would provide additional information in surgery. However, how to effectively access and use stereo information for the super-resolution (SR) purpose is often a challenge. In this paper, we propose a disparity-constrained stereo super-resolution network (DCSSRnet) to simultaneously compute a super-resolved image in a stereo image pair. In particular, we incorporate a disparity-based constraint mechanism into the generation of SR images in a deep neural network framework with an additional atrous parallax-attention modules. Experiment results on laparoscopic images demonstrate that the proposed framework outperforms current SR methods on both quantitative and qualitative evaluations. Our DCSSRnet provides a promising solution on enhancing spatial resolution of stereo image pairs, which will be extremely beneficial for the endoscopic surgery.

연구 동기 및 목표

• 스테레오 쌍의 초해상도 과정에서 스테레오 대응 관계를 유지하는 문제를 해결하기 위해.
• 저해상도 및 고해상도 스테레오 영상 간 이질성 제약을 통합하여 초해상도 품질을 향상시키기 위해.
• 좌우 초해상도 영상을 동시에 재구성하는 대칭적인 딥 러닝 프레임워크를 개발하기 위해.
• 에피폴라 기하학에 맞춰 정렬된 잔차 아트로우스 공간 피라미드 풀링 및 주의 메커니즘을 사용하여 특징 표현을 향상시키기 위해.
• 구조적 일관성을 유지하면서 더 현실적이고 세밀한 초해상도 영상을 얻기 위해.

제안 방법

• 이 방법은 스테레오 쌍에서 동시에 좌우 초해상도 영상을 생성하기 위해 대칭적인 U-Net 유사 아키텍처를 사용한다.
• 다양한 스케일의 특징을 큰 수신장으로 추출하기 위해 잔차 아트로우스 공간 피라미드 풀링(ASPP) 모듈을 사용한다.
• 아트로우스 파라렐랙스-주의 모듈(APAM)은 에피폴라 선 근처의 여러 선을 통해 특징을 집계하여 이질성 마스크를 생성함으로써 정렬의 강건성을 향상시킨다.
• 저해상도 및 고해상도 영상 쌍의 이질성 맵 간 일관성을 강제하기 위해 이질성 제약 손실을 도입한다.
• 손실 함수는 재구성 손실과 저해상도 및 고해상도 이질성 마스크 간 차이를 기반으로 한 정규화 항을 조합한다.
• 학습 중 일관된 감독을 위해 저해상도 이질성 맵을 삼선형 보간법으로 업샘플링한다.

실험 결과

연구 질문

• RQ1 이질성 제약이 슈퍼해상도 스테레오 내 endoscopic 영상 품질을 향상시키는 데 기여하는가?
• RQ2 저해상도 및 고해상도 이질성 맵 간 일관성을 강제할 경우 초해상도에서 구조적 충실도에 어떤 영향을 미치는가?
• RQ3 병렬적이고 대칭적인 네트워크 아키텍처가 효과적으로 스테레오 대응 관계를 활용하여 영상 재구성 품질을 향상시킬 수 있는가?
• RQ4 단일 에피폴라 선이 아닌 다중 선 특징 집계를 사용할 경우 주의 기반 특징 정렬의 정확도가 향상되는가?
• RQ5 제안된 방법이 복강경 데이터에서 기존의 단일 영상 및 스테레오 기반 초해상도 방법보다 어느 정도 뛰어난가?

주요 결과

• 제안된 DCSSRnet는 2× 확대 비율에서 PSNR 43.610 dB, SSIM 0.9957을 달성하여 PASSR 및 StereoSR를 포함한 모든 비교 방법들을 능가한다.
• 4× 확대 비율에서 DCSSRnet는 PSNR 35.598 dB, SSIM 0.9809를 기록하여 고확대 초해상도에서 뛰어난 성능을 보였다.
• 정성적 결과에서는 bicubic, SRCNN, VDSR, DRRN, PASSR 대비 DCSSRnet가 더 선명한 가장자리와 더 현실적인 질감 세부 정보를 생성함을 확인했다.
• 이질성 제약 메커니즘이 효과적으로 스테레오 대응 관계를 유지하여 재구성된 영상의 아티팩트를 감소시키고 구조적 일관성을 향상시켰다.
• 좌우 영상 간 등록 불일치가 발생할 경우 성능에 한계를 보이며, 스테레오 비일치에 민감함을 나타냈다.
• 제거 실험을 통해 이질성 제약 손실이 성능 향상에 크게 기여함을 확인하였으며, 이는 스테레오 충실도 유지에 있어 그 역할을 검증하였다.