[논문 리뷰] A Multi-channel Network with Image Retrieval for Accurate Brain Tissue Segmentation

Yao Sun, Yang Deng외 4명|arXiv (Cornell University)|2018. 08. 01.

Advanced Neural Network Applications참고 문헌 7인용 수 3

한 줄 요약

이 논문은 내용 기반 이미지 검색(CBIR)을 통해 검색된 가장 유사한 이미지의 진정값을 네 번째 입력 채널로 통합함으로써 뇌 조직 분할 성능을 향상시키는 다중 채널 컨볼루션 신경망을 제안한다. 유사한 스캔에서의 이전 해부학적 무늬 정보를 활용함으로써, 표준 삼채널 네트워크 대비 덜 변화된 아키텍처와 강력한 내성으로 T1, T2-FLAIR, T1-IR MRI 모odalities 전반에서 덩어리 점수(Dice score) 약 0.01 향상된다.

ABSTRACT

Magnetic Resonance Imaging (MRI) is widely used in the pathological and functional studies of the brain, such as epilepsy, tumor diagnosis, etc. Automated accurate brain tissue segmentation like cerebro-spinal fluid (CSF), gray matter (GM), white matter (WM) is the basis of these studies and many researchers are seeking it to the best. Based on the truth that multi-channel segmentation network with its own ground truth achieves up to average dice ratio 0.98, we propose a novel method that we add a fourth channel with the ground truth of the most similar image's obtained by CBIR from the database. The results show that the method improves the segmentation performance, as measured by average dice ratio, by approximately 0.01 in the MRBrainS18 database. In addition, our method is concise and robust, which can be used to any network architecture that needs not be modified a lot.

연구 동기 및 목표

• 뇌 MRI 스캔에서 자동 뇌 조직 분할 정확도를 향상시키며, 특히 CSF, GM, WM에 중점을 둔다.
• 표준 딥 러닝 모델이 뇌 MRI 분할에 대해 제한된 이전 해부학적 무늬 정보를 갖는 문제를 해결한다.
• 기존 네트워크 아키텍처를 수정하지 않고도 외부 관련 해부학 지식을 유사한 스캔에서 통합하는 방법을 개발한다.
• CBIR를 사용해 가장 유사한 이미지의 진정값을 네 번째 입력 채널로 사용하는 것이 분할 성능 향상에 기여하는지 평가한다.
• 이 방법이 다양한 MRI 모달리티와 네트워크 아키텍처에 걸쳐 강건하고 일반화 가능한지 입증한다.

제안 방법

• 이 방법은 T1, T2-FLAIR, T1-IR 및 CBIR를 통해 검색된 가장 유사한 이미지의 진정값을 담은 네 번째 채널을 포함하는 U-Net 기반의 다중 채널 분할 네트워크를 사용한다.
• 내용 기반 이미지 검색(CBIR)을 사용하여 각 테스트 MRI 슬라이스를 데이터베이스 내에서 가장 유사한 이미지와 매칭한다. 이는 이미지 특징과 정규화 후 유사도 기반으로 수행된다.
• 이미지 유사도는 L1-노름 기반 공식을 사용하여 계산된다: $ S(A,B) = 1 - \frac{\|A-B\|_1}{\|A+B\|_1} $, 여기서 유사도가 임계값을 초과하면 검색된 이미지의 진정값을 네 번째 채널로 사용한다.
• 네트워크는 각 컨볼루션 레이어 후에 배치 정규화와 ReLU 활성화 함수를 사용하며, 훈련을 위해 평균 제곱 오차(MSE) 손실 함수를 사용한다.
• 질의 이미지와 검색된 이미지 간의 유사도가 임계값 이하일 경우, 네트워크는 표준 삼채널 입력으로 전환한다.
• 수축 경로와 팽창 경로의 특징 맵을 동일 해상도에서 연결하여 거시적이고 세밀한 공간 정보를 모두 유지한다.

실험 결과

연구 질문

• RQ1 데이터베이스에서 유사한 이미지의 진정값을 통합함으로써 네트워크 아키텍처를 수정하지 않고도 뇌 MRI 분할 정확도를 향상시킬 수 있는가?
• RQ2 MRBrainS18 데이터셋에서 CBIR 기반 네 번째 채널 입력을 갖는 다중 채널 네트워크의 성능은 표준 삼채널 네트워크와 비교해 어떻게 되는가?
• RQ3 유사한 스캔에서의 이전 해부학적 무늬 정보 사용이 노이즈 감소와 조직 경계의 매끄러움 향상에 얼마나 기여하는가?
• RQ4 가장 유사한 이미지가 완벽하게 매칭되지 않을 경우에도 이 방법은 강건한가? 이 경우 오분류율에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 최소한의 아키텍처 수정으로 다른 딥 러닝 아키텍처에 일반화 가능한가?

주요 결과

• 제안된 방법은 표준 삼채널 네트워크 대비 평균 덩어리 점수를 약 0.01 향상시켰으며, CSF는 0.8440 ± 0.0020, GM은 0.8404 ± 0.0023, WM은 0.8834 ± 0.0025를 기록했다.
• 테스트 이미지 자체의 진정값을 네 번째 채널로 사용한 베이스라인 실험은 CSF 0.9874, GM 0.9747, WM 0.9626의 덩어리 점수를 기록했으며, 네 번째 채널 사전 지식의 강력한 잠재력을 보여주었다.
• 시각화 결과 네 번째 채널이 무작위 노이즈를 크게 감소시키고 특히 GM 및 WM 영역에서 경계의 매끄러움을 향상시켰다.
• 뇌골 영역이 CSF로 잘못 분류되는 오분류 현상이 관찰되었으며, 이는 최적의 매칭이 아닌 이미지의 잘못된 무늬 정보와 관련된 것으로 추정되었다.
• 이 방법은 기존 네트워크 아키텍처에 최소한의 수정으로 적용 가능하며, 단지 추가적인 입력 채널이 필요할 뿐이다.
• 결과적으로 가장 유사한 이미지의 진정값을 사용하는 것이 성능 향상에 더 유리할 것이며, 이는 향후 연구의 핵심 방향이다.