[논문 리뷰] BoxNet: Deep Learning Based Biomedical Image Segmentation Using Boxes Only Annotation

Lin Yang, Yizhe Zhang외 6명|arXiv (Cornell University)|2018. 06. 02.

AI in cancer detection참고 문헌 18인용 수 31

한 줄 요약

이 논문은 유계 상자 애너테이션만을 사용하여 생물의학 영상 분할을 수행하는 약한 감독 기반 딥러닝 방법인 BoxNet을 제안한다. 이는 애너테이션 노력의 상당한 감소를 가능하게 한다. 기울어진 유계 상자와 극한점 신호를 활용하여 깊이 학습과 그래프 탐색을 조합함으로써, 원시적인 분할 결과를 정밀하게 개선함으로써, 완전 감독 방법과 거의 동일한 정확도를 달성하면서도 훨씬 적은 애너테이션 시간을 요구한다.

ABSTRACT

In recent years, deep learning (DL) methods have become powerful tools for biomedical image segmentation. However, high annotation efforts and costs are commonly needed to acquire sufficient biomedical training data for DL models. To alleviate the burden of manual annotation, in this paper, we propose a new weakly supervised DL approach for biomedical image segmentation using boxes only annotation. First, we develop a method to combine graph search (GS) and DL to generate fine object masks from box annotation, in which DL uses box annotation to compute a rough segmentation for GS and then GS is applied to locate the optimal object boundaries. During the mask generation process, we carefully utilize information from box annotation to filter out potential errors, and then use the generated masks to train an accurate DL segmentation network. Extensive experiments on gland segmentation in histology images, lymph node segmentation in ultrasound images, and fungus segmentation in electron microscopy images show that our approach attains superior performance over the best known state-of-the-art weakly supervised DL method and is able to achieve (1) nearly the same accuracy compared to fully supervised DL methods with far less annotation effort, (2) significantly better results with similar annotation time, and (3) robust performance in various applications.

연구 동기 및 목표

• 생물의학 영상 분할에서 딥러닝 모델을 훈련하기 위해 요구되는 높은 애너테이션 비용과 노력을 줄이기 위해.
• 기존의 약한 감독 기반 방법들이 수직 유계 상자에 의존하여 비수직적이고 복잡한 생물의학적 구조에서는 실패하는 한계를 해결하기 위해.
• 완전한 인스턴스 마스크가 필요 없이 기울어진 유계 상자와 극한점 애너테이션을 활용하여 분할 정확도를 향상시키는 방법을 개발하기 위해.
• 완전히 감독된 딥러닝 모델과 비교할 만한 성능을 달성하기 위해 유일하게 상자 수준의 애너테이션만을 사용하기 위해.
• 히스토로지, 초음파, 전자현미경을 포함한 다양한 생물의학 영상 모odalities에 걸쳐 강건하고 일반화 가능한 분할을 가능하게 하기 위해.

제안 방법

• 각 객체당 6번의 클릭을 사용하는 새로운 애너테이션 인터페이스를 제안한다: 객체의 방향을 결정하기 위한 중심점과 방향 지정 2회, 객체 경계상의 극한점 4회. 이는 기울어진 유계 상자 애너테이션을 효율적으로 가능하게 한다.
• 유계 상자 애너테이션과 극한점 신호를 사용하여 올바른 토폴로지를 가진 원시 분할을 생성하고, 이를 그래프 탐색(GS)의 입력으로 사용하여 객체 경계를 정밀하게 개선한다.
• 훈련 이미지에서 그래프 탐색(GS)을 적용하여 원시 분할을 정밀하게 개선하며, 유계 상자와 극한점에서 유도된 토폴로지 및 경계 신호를 활용하여 오류를 방지한다.
• GS로 정밀화된 마스크를 기반으로 두 번째 완전 컨volution 네트워크(FCN)를 훈련시켜 정확하고 일반화 가능한 분할을 학습시킴으로써, 테스트 데이터에서의 후처리가 필요 없어진다.
• 마스크 생성 과정에서 유계 상자 및 극한점 제약 조건과의 일관성을 강제하여 잠재적인 오류를 걸러내어 강건성을 향상시킨다.
• 정밀화된 마스크를 약한 감독 훈련 파이프라인에 통합하여, 유일하게 상자 애너테이션만으로도 엔드 투 엔드 학습이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 유일하게 유계 상자 애너테이션으로 훈련된 약한 감독 기반 딥러닝 방법이 완전 감독 방법과 비교하여 유사한 분할 정확도를 달성할 수 있는가?
• RQ2 생물의학 영상에서 임의의 객체 방향을 가진 복잡한 구조에서, 수직 상자 외에 기울어진 유계 상자와 극한점 애너테이션을 사용할 경우 분할 성능이 어떻게 향상되는가?
• RQ3 후처리 단계에서가 아니라 훈련 단계에서 그래프 탐색(GS)을 적용할 경우, 후처리와 비교해 분할 정확도와 일반화 능력이 어떻게 향상되는가?
• RQ4 다양한 생물의학 영상 응용 분야에서, 이 방법이 분할 정확도를 유지하면서 애너테이션 시간을 얼마나 줄일 수 있는가?
• RQ5 히스토로지, 초음파, 전자현미경 영상에서 복잡한 객체 구조와 모호한 경계에 대해 이 방법은 얼마나 강건한가?

주요 결과

• BoxNet은 전자현미경(EM) 및 히스토로지 데이터셋에서 완전 감독 기반 딥러닝 방법과 거의 동일한 분할 성능을 달성하며, F1 스코어 차이가 1% 미만이다.
• 세 가지 데이터셋 모두에서 기존의 최고 수준의 약한 감독 기반 방법 [7] (Box^i)를 초월한다: H&E 히스토로지 영상에서의 샤프란 분할, 초음파 영상에서의 림프절 분할, 전자현미경 영상에서의 곰팡이 분할.
• 유사한 애너테이션 시간을 사용할 경우, BoxNet은 Box^i보다 훨씬 우수한 분할 결과를 도출하여, 더 뛰어난 애너테이션 효율성과 정확도를 입증한다.
• 기울어진 유계 상자와 극한점 신호를 사용할 경우, 수직 상자만 사용하는 것보다 원시 분할의 F1 스코어가 약 1% 향상되며, 완전한 애너테이션 성능에 가까워진다.
• 후처리 단계가 아닌 훈련 단계에서 그래프 탐색(GS)을 적용할 경우, 모든 데이터셋에서 '원시 분할 + GS' 기반 베이스라인에 비해 더 정확하고 안정적인 분할이 가능하며 일관된 향상이 이루어진다.
• 이 프레임워크는 테스트 이미지에서의 후처리가 필요 없게 하여 추론 속도를 향상시키고, 추가적인 GS 단계 없이 엔드 투 엔드 배포가 가능하게 한다.