[논문 리뷰] SurReal: enhancing Surgical simulation Realism using style transfer

Imanol Luengo, Evangello Flouty외 4명|arXiv (Cornell University)|2018. 11. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 16인용 수 8

한 줄 요약

이 논문은 실존하는 백내장 수술 영상의 시각적 스타일을 합성 시뮬레이션 콘텐츠에 전달함으로써 수술 시뮬레이션의 사진처럼 현실감 있는 해상도를 향상시키는 새로운 스타일 전이 방법 SurReal을 제안한다. 레이블 간 스타일 전이를 통해 실존 영상의 스타일을 합성 콘텐츠에 전달하며, 화이트닝 및 칼라링 변환(WCT)에 스타일 분해 및 영역 기반 스타일 매핑을 추가함으로써 복잡한 해부학적 구조, 특히 눈과 같은 복잡한 해부학적 영역에서 더 현실적인 조직 텍스처와 해부학적 외관을 달성한다. 이는 다중 스타일 보간 및 누락 레이블에 대한 강건한 처리를 가능하게 한다.

ABSTRACT

Surgical simulation is an increasingly important element of surgical education. Using simulation can be a means to address some of the significant challenges in developing surgical skills with limited time and resources. The photo-realistic fidelity of simulations is a key feature that can improve the experience and transfer ratio of trainees. In this paper, we demonstrate how we can enhance the visual fidelity of existing surgical simulation by performing style transfer of multi-class labels from real surgical video onto synthetic content. We demonstrate our approach on simulations of cataract surgery using real data labels from an existing public dataset. Our results highlight the feasibility of the approach and also the powerful possibility to extend this technique to incorporate additional temporal constraints and to different applications.

연구 동기 및 목표

• 현재 조직 모델링 및 조명 제약로 인해 실제 수술 영상에 비해 떨어지는 수술 시뮬레이션의 사진처럼 현실적인 해상도를 향상시키기 위해.
• 실제로 레이블이 매겨진 데이터가 부족하고 수집에 비용이 많이 들기 때문에, 수술 분야의 딥러닝 훈련을 위한 고성능 훈련 데이터를 생성하는 데 도전하기 위해.
• 실존 수술 영상에서의 스타일 전이가 기능적 또는 생체역학적 행동을 변화시키지 않고도 합성 시뮬레이션 콘텐츠의 시각적 현실감을 향상시킬 수 있는지 탐색하기 위해.
• 세분화된 해부학적 구조를 기반으로 강건하고 영역별로 스타일 전이가 가능한 방법을 개발하기 위해.
• 실제 세계의 시각적 스타일을 갖춘 시뮬레이션 데이터를 활용해 수술 AI 모델의 전이 능력을 향상시킬 수 있는지의 가능성을 입증하기 위해.

제안 방법

• 다수의 실존 수술 영상 프레임에서 '스타일 모델'을 생성할 수 있도록 스타일 분해를 도입함으로써 WCT(Whitening and Coloring Transform)를 확장한다.
• 레이블 간 스타일 전이를 도입하여, 예를 들어 망막, 각막, 수술도구 등 각 세분화 레이블 별로 스타일을 전이함으로써 해부학적 일관성을 확보한다.
• 각 레이블 별 스타일 강도를 제어하기 위해 학습 가능한 파라미터 α를 사용하며, 눈과 같은 더 두드러진 구조물일수록 더 높은 α를 설정한다.
• 콘텐츠 이미지 및 스타일 이미지의 특징 맵에 텐서 분해를 적용하여, 다양한 네트워크 깊이 수준에서 효율적이고 강건한 스타일 전이를 가능하게 한다.
• 다중 스타일 보간 프레임워크를 도입하여 다수의 스타일 이미지를 가중 혼합함으로써 서로 다른 수술 시각적 스타일 간의 부드러운 전환을 가능하게 한다.
• 기존의 진짜 세분화 마스크가 매겨진 합성 시뮬레이션 영상과 함께, 제안된 GWCT(Generalized WCT) 프레임워크를 사용하여 실존 수술 영상의 스타일을 전이한다.

실험 결과

연구 질문

• RQ1 실존 수술 영상에서의 스타일 전이가 합성 수술 시뮬레이션의 시각적 현실감을 향상시킬 수 있는가?
• RQ2 레이블 간 스타일 전이는 표준 이미지 간 스타일 전이에 비해 더 해부학적으로 일관되고 정확한 결과를 도출할 수 있는가?
• RQ3 특징 표현의 깊이가 수술 시뮬레이션에서 전이된 스타일의 품질과 현실감에 어떤 영향을 미치는가?
• RQ4 제안된 방법을 사용하여 여러 개의 수술 영상 스타일을 부드럽고 강건하게 혼합하여 다양한 해부학적 외관을 갖춘 현실적인 시뮬레이션 데이터를 생성할 수 있는가?
• RQ5 이 방법을 통해 수술 분야의 딥러닝 모델 훈련을 위해 수작업으로 레이블링된 실존 수술 데이터 의존도를 어느 정도 줄일 수 있는가?

주요 결과

• 레이블 간 스타일 전이는 표준 이미지 간 스타일 전이에 비해 특히 눈의 망막과 각막과 같은 복잡한 해부학적 영역에서 더 뛰어난 시각적 현실감 향상을 보였다.
• 특징 인코딩의 깊이를 4로 설정할 경우 깊이 5보다 더 현실적인 결과를 도출하였으며, 깊이 5는 과도한 스타일 전이로 인해 세부 정보 손실을 초래하였다.
• 가중 혼합을 통한 다중 스타일 보간은 서로 다른 수술 시각적 스타일 간에 부드럽고 시각적으로 일관된 전환을 생성하였으며, 이는 방법의 강건성을 입증하였다.
• 세분화 기반의 해부학적 구조를 유지하면서도 실존 백내장 수술 영상의 스타일을 전이함으로써 매우 현실적인 시뮬레이션 영상 생성이 가능해졌다.
• 각 레이블 별로 벡터화된 α 파라미터를 사용함으로써 스타일 강도를 정밀하게 제어할 수 있었으며, 이는 더 자연스러운 조직 및 도구 외관을 도출하였다.
• 이 방법은 실존 세계의 시각적 스타일을 갖춘 합성 시뮬레이션을 기반으로 무제한의 현실적인 훈련 데이터를 생성할 수 있도록 하여, 고비용의 실존 수술 레이블링 데이터 의존도를 줄이는 데 기여한다.