[논문 리뷰] Siamese LSTM based Fiber Structural Similarity Network (FS2Net) for Rotation Invariant Brain Tractography Segmentation

Shreyas Malakarjun Patil, Aditya Nigam외 2명|arXiv (Cornell University)|2017. 12. 28.

Advanced Neuroimaging Techniques and Applications참고 문헌 5인용 수 7

한 줄 요약

이 논문은 회전 불변성 있는 뇌 신경섬유 추적 분할을 위한 구조적 유사도를 학습하는 Siamese LSTM-BiLSTM 아키텍처인 FS2Net을 제안한다. 양방향 LSTM을 사용해 쌍을 이룬 섬유를 비교함으로써, 정규화되지 않은, 기울인 테스트 데이터와 오직 11,000개의 훈련 쌍만으로도 최신 기술 수준의 정확도(최대 매크로 기준 92.91%)를 달성한다.

ABSTRACT

In this paper, we propose a novel deep learning architecture combining stacked Bi-directional LSTM and LSTMs with the Siamese network architecture for segmentation of brain fibers, obtained from tractography data, into anatomically meaningful clusters. The proposed network learns the structural difference between fibers of different classes, which enables it to classify fibers with high accuracy. Importantly, capturing such deep inter and intra class structural relationship also ensures that the segmentation is robust to relative rotation among test and training data, hence can be used with unregistered data. Our extensive experimentation over order of hundred-thousands of fibers show that the proposed model achieves state-of-the-art results, even in cases of large relative rotations between test and training data.

연구 동기 및 목표

• DTI 데이터로부터 뇌 신경섬유 트랙을 정확하고 자동으로 분할할 수 있는 딥 러닝 모델을 개발하는 것.
• 뇌 추적 분할에서 회색질과 백질 섬유 간의 데이터 불균형 문제를 해결하는 것.
• 훈련 데이터와 테스트 데이터 간의 상대적 기울임에 대해 강건성을 확보하여, 정규화되지 않은 뇌 영상에서도 사용 가능하도록 하는 것.
• 최소한의 훈련 데이터로 높은 성능을 달성하여 이전 방법에 비해 계산 효율성을 향상시키는 것.
• 맥락 수준(회색질 대비 백질)과 마이크로 수준(8종의 백질 하위유형)에서 계층적 분류를 가능하게 하는 것.

제안 방법

• 공유 가중치를 통해 섬유 간의 구조적 유사도를 학습하기 위해, 쌍의 섬유 트랙을 비교하는 Siamese 네트워크 아키텍처를 사용한다.
• 섬유 시퀀스 내 장거리 의존성과 방향성 패턴을 포착하기 위해 양방향 LSTM(Bi-LSTM)을 사용한다.
• 곡률 기반 프루닝을 적용하여 섬유 길이의 변동성을 줄이고, 고곡률 지점을 유지함으로써 척도 불변성을 향상시킨다.
• 섬유 트랙을 3차원 점 시퀀스로 처리하며, 프루닝 후 약 75%의 점을 유지하고 고정 길이로 0 패딩을 적용한다.
• 회전에 대해 일반화할 수 있도록 상대적인 구조적 패턴에 집중함으로써, 회전에 강인한 유사도 메트릭을 학습하기 위해 섬유 쌍을 훈련 데이터로 사용한다.
• 유사한 섬유 간의 거리를 최소화하고, 비유사한 섬유 간의 거리를 최대화하기 위해 대조 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 Siamese LSTM-BiLSTM 아키텍처는 훈련 및 테스트 데이터 간의 상대적 기울임에 대해 강건성을 유지하면서도 뇌 신경섬유 추적 분할에서 높은 정확도를 달성할 수 있는가?
• RQ2 특히 적은 수의 백질 섬유 하위유형을 분류할 때, 제안된 방법은 데이터 불균형 상황에서 어떻게 성능을 발휘하는가?
• RQ3 한 명 또는 여러 명의 주체에서 훈련된 모델이 다른 주체(다른 뇌)에 대해 얼마나 잘 일반화되는가?
• RQ4 기존 방법이 80,000개의 섬유를 사용하는 데 비해, 오직 11,000개의 훈련 쌍만으로도 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 절대 경로 패턴이 아닌 구조적 유사도를 학습함으로써, 섬유 분류에서 회전 불변성이 가능해지는가?

주요 결과

• FS2Net는 뇌 2에서 훈련하고 뇌 1 및 뇌 3에서 테스트한 인터-브레인 테스트에서 매크로 수준 정확도 92.91%를 달성하여 이전 방법을 능가한다.
• 모델은 기울임에 대해 높은 성능를 유지하며, 인트라-브레인 설정에서 30도 기울임 시 88.03%의 정확도를 기록하여 강력한 회전 불변성을 입증한다.
• 백질 섬유의 리콜은 인트라-브레인 케이스에서 88.03%에 도달하여, 백질 섬유가 전체 섬유의 10%에 불과함에도 불구하고 데이터 불균형을 효과적으로 처리한 것으로 나타났다.
• 기존 방법이 80,000개의 섬유를 사용하는 데 비해 오직 11,000개의 훈련 쌍만으로도 최신 기술 수준의 결과를 달성하여 훈련 데이터와 계산 비용을 크게 줄였다.
• 합쳐진 뇌에서 훈련한 경우 모델은 매크로 정확도 88.36%와 리콜 85.91%를 기록하여 주체 간 일반화 능력이 뛰어나다는 것을 보여준다.
• 증가하는 기울임 각도에 대해 모델의 성능은 안정적으로 유지되며, 정확도가 약간 감소할 뿐이지만, 이전 방법들(예: BrainSegNet)처럼 기울임에 의해 급격히 성능이 떨어지지 않는다.