[논문 리뷰] PCA-aided Fully Convolutional Networks for Semantic Segmentation of Multi-channel fMRI

Lei Tai, Ye, Haoyang외 2명|arXiv (Cornell University)|2016. 10. 06.

Brain Tumor Detection and Classification참고 문헌 15인용 수 4

한 줄 요약

이 논문은 다중 채널 fMRI의 픽셀 단위 의미 분할을 위한 PCA 보조 기반의 완전 컨volution 네트워크(FCN)를 제안한다. 31채널 데이터를 분석 전에 세 개의 주성분으로 감소시킨 후, 정밀하게 튜닝된 FCN에 입력한다. 이 방법은 스캔당 90ms의 실시간 추론을 달성하며, 특히 모호한 조직 경계에서의 정확도를 향상시키는 데 기여하는 새로운 '무시-경계' 레이블링 전략을 통해 기존의 k-NN 방법을 뛰어넘는 성능을 보인다.

ABSTRACT

Semantic segmentation of functional magnetic resonance imaging (fMRI) makes great sense for pathology diagnosis and decision system of medical robots. The multi-channel fMRI provides more information of the pathological features. But the increased amount of data causes complexity in feature detections. This paper proposes a principal component analysis (PCA)-aided fully convolutional network to particularly deal with multi-channel fMRI. We transfer the learned weights of contemporary classification networks to the segmentation task by fine-tuning. The results of the convolutional network are compared with various methods e.g. k-NN. A new labeling strategy is proposed to solve the semantic segmentation problem with unclear boundaries. Even with a small-sized training dataset, the test results demonstrate that our model outperforms other pathological feature detection methods. Besides, its forward inference only takes 90 milliseconds for a single set of fMRI data. To our knowledge, this is the first time to realize pixel-wise labeling of multi-channel magnetic resonance image using FCN.

연구 동기 및 목표

• 고차원적이고 복잡한 데이터를 가진 다중 채널 fMRI에서 의미 분할의 과제를 해결한다.
• fMRI 분할에서 작은 학습 데이터셋과 명확하지 않은 조직 경계의 한계를 극복한다.
• 임상 응용 분야(예: 병리 진단)에 적합한 실시간, 엔드 투 엔드 픽셀 단위 분류를 가능하게 한다.
• 레이블링 복잡성을 줄임으로써 주요 조직(특히 뼈와 척수액)의 분할 정확도를 향상시킨다.
• 의료 영상 분할 과제에서 전이 학습과 차원 축소(PCA)의 효과를 입증한다.

제안 방법

• 31채널 fMRI 데이터를 주성분 분석(PCA)을 적용하여 세 개의 주성분으로 차원을 감소시켜 핵심 병리적 특징을 유지하면서 차원을 축소한다.
• 소규모 레이블링된 fMRI 데이터셋을 기반으로 사전 훈련된 완전 컨볼루션 네트워크(FCN)를 전이 학습을 통해 미세 조정하여 분류 가중치를 분할 작업에 맞춘다.
• 조직 간 접합 영역을 학습에서 제외하는 새로운 '무시-경계' 레이블링 전략을 도입하여 레이블링의 모호성과 복잡성을 감소시킨다.
• 표준 의미 분할 평가 지표인 평균 교차율(Intersection over Union, mIoU), 빈도 가중 IoU(fwIoU), 픽셀 정확도, 평균 정확도를 사용하여 평가한다.
• 백프로파게이션과 경사 하강법을 사용한 엔드 투 엔드 훈련을 구현하며, 주요 조직 클래스의 분할 손실을 최적화한다.
• 스캔당 90ms의 근접 실시간 추론을 구현하여 기존의 픽셀 단위 순차 접근 방법(스캔당 1.4초)보다 약 15배 빠른 성능을 달성한다.

실험 결과

연구 질문

• RQ1 PCA는 다중 채널 fMRI 데이터의 차원을 감소시키면서도 조직 분할에 관련된 특징을 효과적으로 유지할 수 있는가?
• RQ2 사전 훈련된 분류 네트워크에서의 전이 학습이 작은 fMRI 데이터셋에서 의미 분할 성능을 향상시키는가?
• RQ3 모호한 접합 영역을 무시하는 수정된 레이블링 전략이 분할 정확도와 수렴 속도를 향상시키는가?
• RQ4 제안된 PCA 및 전이 학습 기반의 FCN는 기존의 k-NN 방법과 비교해 mIoU와 추론 속도 측면에서 어떻게 성능을 냈는가?
• RQ5 수렴에 가장 적합한 훈련 기간은 무엇이며, '무시-경계' 전략이 기존의 경계 기반 레이블링 전략보다 수렴 속도가 더 빠른가?

주요 결과

• 제안된 PCA 보조 기반 FCN는 Fully-BP 전략을 사용해 30,000회 훈련 반복 후 평균 IoU 81.7%와 빈도 가중 IoU 75.1%를 달성했으며, k-NN(평균 IoU: 44.5%)를 크게 능가했다.
• '무시-경계' 레이블링 전략은 약 10,000회 반복에서 최고 성능을 보였으며, 다섯 가지 주요 조직에 대해 평균 IoU 84.0%와 빈도 가중 IoU 87.1%를 기록했다.
• 모델은 스캔당 90ms의 실시간 추론을 달성하여 기존 방법(스캔당 1.4초) 대비 약 15배 빠른 속도를 확보했다.
• '무시-경계' 전략은 배경을 제외한 모든 주요 조직의 정밀도를 향상시켰지만, 조직 영역의 과도한 예측으로 인해 약간의 가짜 양성 결과가 증가했다.
• 혼동 행렬 분석 결과, 뼈 조직은 경계가 명확하지 않아 분할이 가장 어려운 클래스로 나타났으며, 특히 Fully-BP 전략 하에서 높은 오분류 비율을 보였다.
• 15,000회 반복 후 분할 결과는 지표값과 매우 유사하게 수렴했으며, 30,000회 반복 이후에는 추가적인 향상이 거의 관찰되지 않았다.