[논문 리뷰] Deformation estimation of an elastic object by partial observation using a neural network

Utako Yamamoto, Megumi Nakao외 2명|arXiv (Cornell University)|2017. 11. 28.

Medical Image Segmentation Techniques참고 문헌 27인용 수 5

한 줄 요약

이 논문은 유연한 물체(예: 인간 간)의 전체 3차원 변형을 부분적인 변위 관측치(표면 점의 약 3%)에서 추정하기 위해 다층 신경망을 사용하는 딥러닝 접근법을 제안한다. 비선형 유한요소해석 시뮬레이션을 통해 생성된 합성 데이터로 훈련된 방법은 평균 추정 오차가 단지 0.041 mm에 불과하여, 매우 적은 입력 데이터 조건에서도 높은 정확도를 보이며 실시간 수술 내시경 시스템에 유망한 가능성을 보여준다.

ABSTRACT

Deformation estimation of elastic object assuming an internal organ is important for the computer navigation of surgery. The aim of this study is to estimate the deformation of an entire three-dimensional elastic object using displacement information of very few observation points. A learning approach with a neural network was introduced to estimate the entire deformation of an object. We applied our method to two elastic objects; a rectangular parallelepiped model, and a human liver model reconstructed from computed tomography data. The average estimation error for the human liver model was 0.041 mm when the object was deformed up to 66.4 mm, from only around 3 % observations. These results indicate that the deformation of an entire elastic object can be estimated with an acceptable level of error from limited observations by applying a trained neural network to a new deformation.

연구 동기 및 목표

• 라파로스코픽 수술에서 관찰 가능한 표면 점이 매우 적을 경우 전체 3차원 장기 변형을 추정하는 문제를 해결하기 위해.
• 수술 내시경에서 표면의 일부만 가시성이 있는 국한된 관측 조건을 극복하기 위해.
• 힘 측정치가 필요 없이 희소한 변위 데이터로부터 전체 변형을 추론할 수 있는 기계학습 방법을 개발하기 위해.
• 복잡한 유연한 구조물(예: 인간 간)의 변형 추정에 있어서 신경망의 타당성과 정확도를 평가하기 위해.
• 최소한의 관측 데이터로 실시간으로 정확한 장기 변형 시뮬레이션을 가능하게 하기 위해.

제안 방법

• 희소한 변위 입력을 바탕으로 탄성 물체의 메쉬 전체 정점에 대한 전체 변위장을 예측하는 다층 신경망을 훈련한다. 관측 가능한 표면 점의 수에 비례하여 입력으로 사용되는 점의 좌표(세 축) 수에 따라 입력층의 뉴런 수가 결정된다.
• 훈련을 위한 변형 데이터는 알려진 初기 형상과 경계 조건 하에서 비선형 유한요소법(FEM)을 사용해 생성된다.
• 신경망의 입력층은 관측 점의 수의 3배의 뉴런 수를 가지며, 각 점의 x, y, z 좌표를 입력으로 받는다. 출력층은 고정되지 않은 모든 정점의 변위를 예측한다.
• 하이퍼파rameter(은닉층 크기, 반복 횟수)는 정확도와 수렴 속도의 균형을 맞추기 위해 시도 오차를 통해 선택된다.
• 초기 기하구조는 알려져 있다고 가정하며, 힘 또는 물성치 입력 없이 관측된 변위에서만 변위를 예측하는 데 집중한다.
• 간단한 직육면체와 CT 자료로부터 복원한 복잡한 인간 간 모델을 대상으로 프레임워크의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 희소한 관측 표면 점에서의 변위 데이터만을 사용하여 신경망이 탄성 물체의 전체 3차원 변형을 정확히 추정할 수 있는가?
• RQ2 관측 점의 수와 공간 분포에 따라 추정 정확도는 어떻게 변하는가?
• RQ3 부분 관측 조건에서 변형 추정에 최적의 신경망 아키텍처(예: 은닉층 크기, 학습 반복 횟수)는 무엇인가?
• RQ4 메쉬 복잡도(예: 단순 상자 모델 대 간 모델)가 추정 오차에 어떤 영향을 미치는가?
• RQ5 훈련된 신경망이 새로운 변형 시나리오나 다른 장기 기하구조에 일반화 가능한가?

주요 결과

• 관측된 정점 수가 약 3%인 인간 간 모델에서 평균 추정 오차는 0.041 mm로 나타나 희소 관측 조건에서도 매우 높은 정확도를 보였다.
• 다중 접촉 영역이 있는 간 모델의 경우 평균 오차는 0.275 mm로 증가했지만, 여전히 1 mm 이하이며 임상적으로 허용 가능한 수준이었다.
• 모든 테스트 케이스에서 최대 오차는 2.06 mm였으며, 약 15 mm의 메쉬 간격에 비해 매우 작아 복잡한 변형에 대해서도 강건함을 보였다.
• 중앙 오차는 0.146 mm였고, 75% 분위수 오차의 0.33% 수준이었으며, 다양한 변형 패턴에서 일관된 성능을 보였다.
• 직접 관측되지 않은 영역에서도 신뢰할 수 있는 추정이 가능했으며, 훈련된 신경망의 뛰어난 일반화 능력을 시사했다.
• 본 연구는 처음으로 신경망이 힘 또는 물성 데이터 없이도 최소한의 변위 관측치로부터 전체 장기 변형을 효과적으로 재구성할 수 있음을 입증했다.