[논문 리뷰] Coupled Feature Learning for Multimodal Medical Image Fusion

Farshad G. Veshki, Nora Ouzir외 2명|arXiv (Cornell University)|2021. 02. 17.

Advanced Image Fusion Techniques참고 문헌 32인용 수 11

한 줄 요약

이 논문은 입력 영상을 상관관계가 있는 성분과 독립적인 성분으로 분해하기 위해 결합된 사전 학습 기반의 다중모odal 의료 영상 융합 방법을 제안한다. 동일한 지지 집합을 가진 희박 표현을 적용하고 피어슨 상관관계 제약 조건을 강제 적용함으로써, 모odal별 세부 정보를 유지하면서도 공유 정보를 융합함으로써 기존 최고 수준의 방법들에 비해 뛰어난 밝기 및 세부 정보 유지 성능을 달성하면서도 경쟁적인 계산 효율성을 확보한다.

ABSTRACT

Multimodal image fusion aims to combine relevant information from images acquired with different sensors. In medical imaging, fused images play an essential role in both standard and automated diagnosis. In this paper, we propose a novel multimodal image fusion method based on coupled dictionary learning. The proposed method is general and can be employed for different medical imaging modalities. Unlike many current medical fusion methods, the proposed approach does not suffer from intensity attenuation nor loss of critical information. Specifically, the images to be fused are decomposed into coupled and independent components estimated using sparse representations with identical supports and a Pearson correlation constraint, respectively. An alternating minimization algorithm is designed to solve the resulting optimization problem. The final fusion step uses the max-absolute-value rule. Experiments are conducted using various pairs of multimodal inputs, including real MR-CT and MR-PET images. The resulting performance and execution times show the competitiveness of the proposed method in comparison with state-of-the-art medical image fusion methods.

연구 동기 및 목표

• 기존의 다중모달 영상 융합 방법의 한계, 즉 밝기 감쇠와 중요한 정보 손실 문제를 해결하기 위해.
• 자기공명영상(MR)-CT, 자기공명영상(MR)-PET, 자기공명영상(MR)-SPECT와 같은 다양한 의료 영상 모달리티에 적용 가능한 일반적인 융합 프레임워크를 개발하기 위해.
• 모달리티별 특성 정보를 독립적인 성분으로 분리함으로써 융합 규칙에 의한 이러한 특성 정보의 열화 또는 감쇠를 방지하기 위해.
• 동일한 희박 지지 집합을 가진 결합된 사전를 통해 상관관계가 있는 성분을 함께 학습함으로써 융합 성능을 향상시키기 위해.
• 고품질의 융합 영상 유지와 함께 계산 효율성을 확보하기 위해 교대 최적화 알고리즘을 통해 비볼록 최적화 문제를 해결하기 위해.

제안 방법

• 동일한 지지 집합을 가진 희박 표현을 통해 결합된 사전 학습 기반으로 입력 영상을 상관관계가 있는 성분과 독립적인 성분으로 분해한다.
• 공유된 희박성 패턴을 갖는 공동 희박 코딩 프레임워크를 통해 상관관계가 있는 성분을 추출한다.
• 두 영상의 잔차 항목 간의 픽셀 단위 피어슨 상관관계 최소화를 통해 독립적인 성분을 강제로 구현한다.
• 희박성, 상관관계, 재구성 제약 조건을 포함한 비볼록 최적화 문제를 해결하기 위해 교대 최적화 알고리즘을 사용한다.
• 최종 융합 영상은 융합된 상관관계가 있는 성분과 완전히 보존된 독립적인 성분을 최대 절댓값 규칙을 통해 조합함으로써 생성된다.
• 고정된 패치 크기(m=64)와 사전 크기(n=128)를 갖는 패치 기반 접근 방식을 사용하며, 다양한 모달리티 간 일반화를 위해 파라미터를 조정한다.

실험 결과

연구 질문

• RQ1 결합된 사전 학습 프레임워크는 다중모달 의료 영상에서 모달리티별 특성 정보와 공유 정보를 효과적으로 분리할 수 있는가?
• RQ2 상관관계가 있는 성분과 독립적인 성분을 함께 최적화함으로써 밝기 충실도와 구조적 세부 정보를 동시에 유지할 수 있는가?
• RQ3 전통적인 융합 규칙과 비교해 복합적으로 융합하지 않는 독립적인 성분을 보존함으로써 정보 손실가 줄어드는가?
• RQ4 MR-CT, MR-PET, MR-SPECT와 같은 다양한 의료 영상 모달리티 간에 제안된 방법이 얼마나 잘 일반화되는가?
• RQ5 제안된 최적화 프레임워크에서 희박성 수준, 상관관계 페널티, 융합 성능 간의 상호 교환 관계는 어떠한가?

주요 결과

• QY, QCB, TMQI, STD와 같은 정량적 지표에서 기존 최고 수준의 방법들인 PCNN-NSST, CSR, LLF-IOI에 비해 뛰어난 성능을 달성한다.
• 밝기 충실도가 높아 평균화 기반 또는 이진 선택 융합 규칙에서 흔히 관찰되는 밝기 감쇠 현상을 피한다.
• 실행 시간이 경쟁 가능하며, 평균 실행 시간이 PCNN-NSST와 유사하고 CSR 및 LLF-IOI 방법들보다 훨씬 빠르다.
• T=5와 ρ=10의 최적 파라미터 설정은 독립적인 성분 보존과 융합 성분의 상관관계 유지 사이에 균형 잡힌 상호 보완적 조건을 제공한다.
• 모달리티별 특화된 파라미터 조정 없이도 다양한 모달리티 간에 잘 일반화되어 강력한 내성과 적응성을 입증한다.
• 시각적 및 정량적 결과는 본 방법이 MR-CT 및 기타 다중모달 쌍에서 연조직과 경조직 모두에 걸쳐 미세한 세부 정보와 해부학적 구조를 효과적으로 유지함을 확인한다.