[논문 리뷰] Stacked Neural Networks for end-to-end ciliary motion analysis

Charles Lu, Mirko Marx외 4명|arXiv (Cornell University)|2018. 03. 20.

Retinal Imaging and Analysis참고 문헌 12인용 수 4

한 줄 요약

이 논문은 고속 영상에서 터널링을 자동으로 감지하고, 광학 흐름 불변량을 통해 운동 특징을 추출하며, 정상 또는 비정상으로 분류하는 데 90%의 정확도를 달성하는 엔드 투 엔드 딥러닝 파이프라인을 제안한다. 이 프레임워크는 수동 애너테이션 없이 완전 자동화되고 확장 가능한 분석을 가능하게 한다.

ABSTRACT

Cilia are hairlike structures protruding from nearly every cell in the body. Diseases known as ciliopathies, where cilia function is disrupted, can result in a wide spectrum of disorders. However, most techniques for assessing ciliary motion rely on manual identification and tracking of cilia; this process is laborious and error-prone, and does not scale well. Even where automated ciliary motion analysis tools exist, their applicability is limited. Here, we propose an end-to-end computational machine learning pipeline that automatically identifies regions of cilia from videos, extracts patches of cilia, and classifies patients as exhibiting normal or abnormal ciliary motion. In particular, we demonstrate how convolutional LSTM are able to encode complex features while remaining sensitive enough to differentiate between a variety of motion patterns. Our framework achieves 90% with only a few hundred training epochs. We find that the combination of segmentation and classification networks in a single pipeline yields performance comparable to existing computational pipelines, while providing the additional benefit of an end-to-end, fully-automated analysis toolbox for ciliary motion.

연구 동기 및 목표

• 수동 및 반자동 터널링 운동 분석의 한계를 해결하기 위해, 이는 시간이 오래 걸리고 오류가 발생하기 쉬우며 확장성이 떨어지기 때문이다.
• 수동 간섭 없이 완전히 자동화된 엔드 투 엔드 파이프라인을 개발함으로써 터널링 운동 평가에서의 수동 조작을 제거한다.
• 주관적인 시각 평가를 표준화된 딥러닝 프레임워크로 대체하여, 다양한 기관 간의 터널링 운동 진단의 비교 가능성을 향상시킨다.
• 터널링 운동 패턴에서의 시공간적 특징을 활용하여, 터널로파티에서의 미세한 이상을 구분한다.
• 스택드 아키텍처를 통해 의미 분할과 시간 분류를 조합함으로써, 최소한의 인간 입력으로도 높은 진단 정확도를 달성할 수 있음을 입증한다.

제안 방법

• 고속 영상 프레임에서 터널링 영역을 의미 분할하기 위해 DenseNet을 사용하며, 네 가지 클래스로 구성: 측면 시각 터널링, 상단 시각 터널링, 세포체, 배경.
• 임의의 컷(256×256) 및 수평/수직 반전을 통한 데이터 증강을 적용하여 영상 변동성에 대한 강건성을 향상시킨다.
• 광학 흐름 도함수를 계산하여, 특히 순순간 회전을 포함한 미분 불변량을 운동 민감한 특징으로 추출한다.
• 의미 분할된 터널링 영역에서 작은 시공간 패치를 추출하고, 이를 컨volutional LSTM 네트워크에 입력하여 시간적 동역학을 모델링한다.
• 하류 분류 성능 최적화를 위해, 의미 분할 및 분류 네트워크를 스택형으로 엔드 투 엔드 방식으로 공동으로 훈련한다.
• 의미 분할 네트워크를 감독하기 위해, 일부 영상에 대해 ITK-SNAP를 사용해 진짜 마스크를 생성한다.

실험 결과

연구 질문

• RQ1 수동 애너테이션 없이도 고정확도 분류를 달성할 수 있는 완전한 엔드 투 엔드 딥러닝 파이프라인이 가능한가?
• RQ2 DenseNet 기반 분할과 Convolutional LSTM 기반 분류의 조합이 복잡한 터널링 운동 패턴을 얼마나 효과적으로 포착하는가?
• RQ3 광학 흐름의 회전과 같은 운동 불변량은 원시 픽셀 데이터에 비해 분류 성능 향상에 얼마나 기여하는가?
• RQ4 모델 성능은 분할 품질과 얼마나 관련이 있는가, 특히 세포체가 모호한 경우에 대해선 어떠한가?
• RQ5 임상 영상 기록에서 흔히 볼 수 있는 다양한 터널링 형태와 영상 잡음에 대해 이 프레임워크는 일반화 가능한가?

주요 결과

• 제안된 엔드 투 엔드 파이프라인이 단 몇백 개의 에포크 훈련만으로도 정상과 비정상 터널링 운동을 90%의 정확도로 분류하는 데 성공했다.
• 분류 모델의 성능은 특히 세포체와 터널링이 명확히 분리된 영상에서 분할 마스크의 품질과 강하게 상관되어 있다.
• 더 높은 품질의 분할은 더 나은 패치 추출을 가능하게 하며, 이는 결과적으로 Convolutional LSTM에 입력되는 특징 표현을 향상시킨다.
• 데이터 증강 및 특징 공학을 통해, 불균일한 조도, 카메라 이동, 초점 변화 등의 영상 잡음에 대해 프레임워크가 강건함을 입증했다.
• 정상 터널링 운동의 변동성이 크지만도 모델은 병적 패턴을 효과적으로 구분하는 데 성공했으며, 이는 운동 불변량을 통한 효과적인 특징 학습을 가능하게 했다고 볼 수 있다.
• 스택드 아키텍처는 분리된 분할 또는 분류 파이프라인보다 성능이 뛰어나며, 엔드 투 엔드 시스템에서 공동 최적화의 이점을 확인시켰다.