[논문 리뷰] A Smoke Removal Method for Laparoscopic Images

Congcong Wang, Faouzi Alaya Cheikh외 2명|arXiv (Cornell University)|2018. 03. 22.

Image Enhancement Techniques참고 문헌 18인용 수 12

한 줄 요약

이 논문은 저대비 및 저채널 간 차이 특성에 기반한 우선 사전을 사용하여 병변 이미지를 연기 성분과 연기 제거 성분으로 분해함으로써 복강경 영상에 대한 변분 연기 제거 방법을 제안한다. 이 방법은 이러한 우선 사전에 기반한 비용 함수를 최소화하기 위해 증강 라그랑주 최적화를 적용하여 기존 최신 기술 대비 정량적 지표와 시각적 품질 모두에서 뛰어난 향상 효과를 달성한다. 두 데이터셋에서 FADE는 최저 수준이며, JNBM/RE 점수는 최고 수준을 기록한다.

ABSTRACT

In laparoscopic surgery, image quality can be severely degraded by surgical smoke, which not only introduces error for the image processing (used in image guided surgery), but also reduces the visibility of the surgeons. In this paper, we propose to enhance the laparoscopic images by decomposing them into unwanted smoke part and enhanced part using a variational approach. The proposed method relies on the observation that smoke has low contrast and low inter-channel differences. A cost function is defined based on this prior knowledge and is solved using an augmented Lagrangian method. The obtained unwanted smoke component is then subtracted from the original degraded image, resulting in the enhanced image. The obtained quantitative scores in terms of FADE, JNBM and RE metrics show that our proposed method performs rather well. Furthermore, the qualitative visual inspection of the results show that it removes smoke effectively from the laparoscopic images.

연구 동기 및 목표

• 복강경 수술에서 수술 연기로 인한 영상 품질 악화 문제를 해결함으로써 컴퓨터 비전 시스템과 외과의사의 시야 확보에 악영향을 미치는 것을 목적으로 한다.
• 대기 중 산산이 흩어지는 모델에 기반한 기존의 연기 제거 기법들이 깊이에 따라 변하는 연기와 일정한 공기 빛을 가정한다는 점을 고려하여, 복강경 환경에서는 이러한 조건이 성립하지 않는다는 점을 해결하고자 한다.
• 저대비 및 낮은 채널 간 차이 특성과 같은 연기 고유의 특성을 활용하여 복강경 영상에 특화된 연기 제거 방법을 개발하고자 한다.
• 해부학적 세부 정보와 인지적 충실도를 유지하면서도 이미지 지도 수술 및 내시경 시각화를 위한 영상 품질 향상을 위해 효과적으로 연기를 제거하고자 한다.

제안 방법

• 이 방법은 변분 분해 프레임워크를 사용하여 열악한 복강경 영상을 연기 성분과 제거된(향상된) 성분의 조합으로 모델링한다.
• 두 가지 우선 사전에 기반한 비용 함수를 정의한다: 연기는 저대비를 보이며 RGB 채널 간의 차이가 작다. 이러한 특성은 비연기 영역에 대한 페널티로 사용된다.
• 에너지 함수를 효율적으로 최소화하기 위해 증강 라그랑주 방법을 사용하여 최적화 문제를 해결하며, 수렴성과 안정성을 보장한다.
• 최종 향상된 출력을 얻기 위해 원본 영상에서 연기 성분을 빼낸다. 이 과정에서 구조적 및 색상 정보를 유지한다.
• 깊이 맵이나 투과도 맵에 의존하지 않아, 깊이에 따라 변하지 않는 연기 환경에 적합하다.
• 주요 파라미터로는 정규화 가중치(λ=1, βx=βy=βc=1)와 페널티 파라미터 ρ=5를 사용하며, 매끄럽기와 충실도 사이의 최적 균형을 위해 조정되었다.

실험 결과

연구 질문

• RQ1 물리적 대기 산산이 흩어지는 모델에 의존하지 않고도 변분 접근법이 복강경 영상에서 연기를 효과적으로 제거할 수 있는가?
• RQ2 저대비 및 저채널 간 차이 특성에 기반한 우선 사전가 깊이에 따라 변하는 우선 사전보다 수술 연기를 모델링하는 데 더 효과적인가?
• RQ3 제안된 방법은 기존 최신 기술 대비 FADE, JNBM, RE 등의 영상 품질 지표에서 얼마나 향상되었는가?
• RQ4 실제 복강경 환경에서 기존 방법보다 인지적 영상 품질과 해부학적 세부 정보를 더 잘 유지하는가?
• RQ5 RE 지표로 측정했을 때, 방법이 연기로 가려진 에지 부분을 효과적으로 복원하는가?

주요 결과

• 제안된 방법은 Dataset1에서 FADE 점수 0.23±0.02, Dataset2에서 0.30±0.05를 기록하여 인지적 연기 밀도 감소 효과가 가장 뛰어나다는 것을 확인하였다.
• Dataset1에서 JNBM 점수 1.77±0.11, Dataset2에서 1.16±0.10를 기록하여 인지적 선명도가 뛰어나고 뿌연 정도가 감소함을 입증하였다.
• Dataset1에서 RE 점수 0.39±0.07, Dataset2에서 1.19±0.62를 기록하여 이전에 가려졌던 에지를 가장 잘 복원함을 나타내었다.
• 정성적 결과에서는 자연스러운 색상 복원과 함께 효과적인 연기 제거가 이루어졌으며, DCP 기반 방법에서 관찰되는 비자연스러운 색상 이동 현상이 없었다.
• 모든 지표와 시각적 검토에서 DCP, F-VAR, E-VAR를 모두 능가하여 강건성과 효과성을 입증하였다.
• 기존의 전통적인 연기 제거 모델이 깊이에 따라 변하는 연기를 가정하는 데 반해, 이 방법은 깊이에 따라 변하지 않는 연기 환경에서도 효과적으로 작동함을 입증하여 복강경 영상에 적합함을 확인하였다.