[논문 리뷰] Automatic Lymphocyte Detection in H&E Images with Deep Neural Networks.

Jianxu Chen, Chukka Srinivas|arXiv (Cornell University)|2016. 12. 09.

Digital Imaging for Blood Diseases참고 문헌 5인용 수 14

한 줄 요약

이 논문은 보다 향상된 완전 컨volution 네트워크(FCN)와 스킵 연결, 그리고 자유형 애너테이션과 생물학적 지식을 활용하는 새로운 훈련 방식을 사용하여 H&E 염색된 조직병리학적 영상에서 자동 림프구 검출을 위한 딥러닝 기반 방법을 제안한다. 모델은 다양한 염색 조건과 조직 유형에서 뛰어난 성능을 보이며, 실제 임상 적용 중 인간의 참여를 통한 피드백을 통해 자가 개선 기능을 갖춘다.

ABSTRACT

Automatic detection of lymphocyte in H&E images is a necessary first step in lots of tissue image analysis algorithms. An accurate and robust automated lymphocyte detection approach is of great importance in both computer science and clinical studies. Most of the existing approaches for lymphocyte detection are based on traditional image processing algorithms and/or classic machine learning methods. In the recent years, deep learning techniques have fundamentally transformed the way that a computer interprets images and have become a matchless solution in various pattern recognition problems. In this work, we design a new deep neural network model which extends the fully convolutional network by combining the ideas in several recent techniques, such as shortcut links. Also, we design a new training scheme taking the prior knowledge about lymphocytes into consideration. The training scheme not only efficiently exploits the limited amount of free-form annotations from pathologists, but also naturally supports efficient fine-tuning. As a consequence, our model has the potential of self-improvement by leveraging the errors collected during real applications. Our experiments show that our deep neural network model achieves good performance in the images of different staining conditions or different types of tissues.

연구 동기 및 목표

• 암 면역요법에서 면역 반응을 정량화하는 데 필수적인 H&E 염색 전체 슬라이드 영상에 대한 정확하고 강건한 자동 림프구 검출 시스템 개발.
• 한정된 전문가 기반 진단 애너테이션 문제를 해결하기 위해 점, 스크래치, 경계 영역 등의 자유형 애너테이션을 효율적으로 활용하는 방법 도입.
• 림프구 크기(14–20 미크론)와 디스크 형태의 형태학적 특성과 같은 사전 생물학적 지식을 훈련 과정에 통합하여 모델의 일반화 능력 향상.
• 실제 임상 적용 중 발생한 오류를 수집하여 피드백을 통한 미세조정을 지원하는 훈련 체계 설계를 통해 인간-모델 상호작용 기반의 지속적 자가 개선 기능 확보.
• 임상 조직병리학 영상에서 흔히 발생하는 염색 강도와 조직 형태의 큰 변동성에 대비한 강건성 확보.

제안 방법

• 특징 학습과 기울기 흐름 향상을 위해 잔차 학습 블록(2개의 3×3 컨볼루션 + ReLU + 스킵 연결)을 완전 컨볼루션 네트워크(FCN)에 통합.
• 다양한 척도의 특징 학습을 가능하게 하기 위해 인코더-디코더 아키텍처를 채택하여 국소적 정보와 맥락적 정보를 동시에 포착.
• 림프구 크기와 형태에 대한 사전 지식을 반영하기 위해 모델이 합리적인 림프구 공간 분포를 예측하도록 제약을 두는 새로운 훈련 전략 도입.
• 점(림프구), 음성 점(종양/스트로마 세포), 비림프구 영역의 스크래치 등 자유형 애너테이션을 약한 지도 학습으로 활용하여 효율적인 모델 훈련 수행.
• 데이터 증강 기법과 공개 데이터셋 및 내부 데이터셋 간의 번갈아가며 샘플링을 통해 훈련 데이터 분포 균형 조절 및 일반화 능력 향상.
• 모델의 확률 맵(픽셀 단위로 생성)에 대해 비최대 억제와 임계값 처리를 통해 검출된 림프구 위치와 신뢰도 점수를 추출하기 위한 후처리 단계 적용.

실험 결과

연구 질문

• RQ1 자유형 애너테이션으로 훈련된 딥러닝 모델이 다양한 염색 조건과 조직 유형에서 강건한 림프구 검출 성능을 달성할 수 있는가?
• RQ2 한정된 애너테이션 자료에서 림프구 크기 및 형태학적 특성과 같은 사전 생물학적 지식을 효과적으로 통합할 경우 검출 성능 향상에 얼마나 기여하는가?
• RQ3 실제 임상 적용 중 병리의사가 수정한 오류를 바탕으로 모델이 얼마나 효과적으로 자가 개선할 수 있는가?
• RQ4 잔차 연결과 다중 척도 특징 학습을 갖춘 제안된 아키텍처가 표준 FCN나 패치 기반 CNN보다 검출 정확도와 추론 속도 면에서 뛰어나게 성능을 내는가?
• RQ5 밀도가 높거나 형태학적으로 유사한 림프구가 존재하는 어려운 상황에서도 모델의 성능은 어떠한가?

주요 결과

• 제안된 모델은 공개 및 내부 H&E 영상 데이터셋 모두에서 뛰어난 성능을 보이며, 심한 염색 및 조직 변동성에 대비한 강건성을 입증하였다.
• 품질이 낮거나 조직 밀도가 높거나 종양 세포 비율이 높은 영상에서도 모델이 림프구를 성공적으로 검출함을 정성적 결과를 통해 확인하였다.
• 세포 간의 전체 형태학적 특징과 맥락적 관계를 인식함으로써 군집된 림프구를 효과적으로 처리하여 과다 분할 또는 누락 검출을 방지하였다.
• 전문가 애너테이션 자원이 제한된 상황에서 비균일하고 자유형 레이블(예: 점, 스크래치)을 포함한 약한 지도 학습 방식을 효율적으로 활용할 수 있었다.
• 병리의사가 수정한 오류를 기반으로 한 미세조정을 통해 지속적인 자가 개선 기능을 지원하여 실제 임상 적용에서 점진적으로 정확도가 향상되는 것을 가능케 하였다.
• 훈련 과정에서 림프구 크기(14–20 미크론)에 대한 사전 지식을 활용함으로써 정위치 추정 정확도 향상과 임의의 양성 결과 감소 효과를 입증하였다.