[논문 리뷰] Unsupervised Learning for Large-Scale Fiber Detection and Tracking in Microscopic Material Images

Hongkai Yu, Dazhou Guo외 5명|arXiv (Cornell University)|2018. 05. 25.

Video Surveillance and Tracking Methods참고 문헌 24인용 수 7

한 줄 요약

이 논문은 Faster R-CNN 훈련 중에 감독을 시뮬레이션하기 위해 섬유 형태/크기 사전 지식과 추적의 시공간 일관성을 활용하여 대규모 섬유 검출 및 추적을 위한 비지도 딥러닝 방법을 제안한다. 이 방법은 수동 애너테이션 없이도 검출에서 거의 99%의 F-측정치와 추적에서 99%의 MOTA를 달성한다.

ABSTRACT

Constructing 3D structures from serial section data is a long standing problem in microscopy. The structure of a fiber reinforced composite material can be reconstructed using a tracking-by-detection model. Tracking-by-detection algorithms rely heavily on detection accuracy, especially the recall performance. The state-of-the-art fiber detection algorithms perform well under ideal conditions, but are not accurate where there are local degradations of image quality, due to contaminants on the material surface and/or defocus blur. Convolutional Neural Networks (CNN) could be used for this problem, but would require a large number of manual annotated fibers, which are not available. We propose an unsupervised learning method to accurately detect fibers on the large scale, that is robust against local degradations of image quality. The proposed method does not require manual annotations, but uses fiber shape/size priors and spatio-temporal consistency in tracking to simulate the supervision in the training of the CNN. Experiments show significant improvements over state-of-the-art fiber detection algorithms together with advanced tracking performance.

연구 동기 및 목표

• 흐림과 염색과 같은 局부 영상 품질 열화가 발생하는 대규모 미세재료 영상에서 정확한 섬유 검출 문제를 해결한다.
• 기존 최고 수준의 지도 학습 방법이 광범위한 수동 애너테이션을 요구하는 한계를 극복하여, 대규모 데이터셋에서는 실용적이지 않은 문제를 해결한다.
• 시공간 일관성과 기하학적 사전 지식을 활용하여 검출 및 추적 정확도를 향상시키는 완전히 비지도 학습 프레임워크를 개발한다.
• 기존 방법이 분할 및 타원형 피팅에 실패하는 데 기인한 열악한 세그먼테이션 조건에서도 강력한 섬유 검출 및 추적을 가능하게 한다.

제안 방법

• 시간적 일관성을 활용하여 검출을 개선하기 위해, 여러 반복 단계에서 Faster R-CNN 추론과 섬유 추적을 번갈아 수행한다.
• 수동 레이블가 없는 상황에서 검출 예측을 제약하고 안내하기 위해 섬유 형태 및 크기 사전 지식(예: 타원형 형태)을 사용한다.
• 추적의 시공간 일관성을 활용하여 감독을 시뮬레이션한다: 품질 열화 지역에서의 잘못된 검출(이상치)은 궤적의 연속성으로 복구되고, 잘못된 양성 결과는 추적 일관성으로 제거된다.
• 비지도 기반 모델(EMMPM 또는 EdgeBox)로 검출을 초기화하고, 추적에서 생성된 가짜 레이블을 사용하여 엔드 투 엔드 훈련을 통해 반복적으로 검출을 향상시킨다.
• 추적에서 예측한 바운딩 박스를 가짜 감독 신호로 사용하여 Faster R-CNN 모델을 비지도 방식으로 훈련시키며, 여러 반복 단계에서 손실 함수를 최적화한다.
• 최종 훈련된 모델을 사용해 세 개의 데이터셋에서 새로운 영상의 섬유를 검출하여, 수동 애너테이션 없이도 높은 성능을 달성한다.

실험 결과

연구 질문

• RQ1 수동 애너테이션이 없는 조건에서 비지도 딥러닝 방법이 대규모 미세재료 영상에서 고정확도의 섬유 검출을 달성할 수 있는가?
• RQ2 시공간 일관성과 기하학적 사전 지식의 통합이 局부 영상 열화 조건에서 검출의 강건성 향상에 얼마나 효과적인가?
• RQ3 검출과 추적 간의 반복적 개선이 섬유 검출 및 추적 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법이 F-측정치 및 MOTA와 같은 추적 메트릭 기준에서 최고 수준의 지도 및 비지도 섬유 검출 방법을 초월할 수 있는가?

주요 결과

• 제안된 비지도 방법은 세 개의 독립적 데이터셋에서 거의 99%의 F-측정치를 달성하여, 최고 수준의 방법 [32] 및 기준 모델 EMMPMH를 크게 능가한다.
• EMMPMH로 초기화한 경우, 네 번의 반복 후 99.3%의 MOTA를 달성하여 강력한 추적 강건성을 입증한다.
• 반복 과정에서 검출 성능이 점진적으로 향상되며, 정밀도, 재현도, F-측정치에서 일관된 향상이 관찰되며, 3~4회 반복 내 수렴한다.
• 수동 애너테이션이 없음에도 불구하고 EdgeBox로 초기화한 경우 95.2%의 재현도와 94.6%의 MOTA를 달성하여 열악한 영역과 명료한 영역 모두에서 뛰어난 일반화 능력을 보였다.
• 더 나은 초기화(EMMPMH 대비 EdgeBox)는 추적 성능 향상에 크게 기여하여, 최종 반복에서 ID 전환 수를 47회에서 단 4회로 감소시켰다.
• 궤적의 연속성을 활용하여 흐린 영역 및 염색 영역에서 잘못된 검출(이상치)을 효과적으로 복구하고, 추적 일관성을 통해 잘못된 양성 결과를 억제한다.