[논문 리뷰] A comparative study of semi- and self-supervised semantic segmentation of biomedical microscopy data

Nastassya Horlava, Alisa Mironenko외 4명|arXiv (Cornell University)|2020. 11. 11.

Cell Image Analysis Techniques참고 문헌 13인용 수 6

한 줄 요약

이 연구는 UDA 및 대비적 자기지도 학습을 사용하여 생물의학적 현미경 영상의 의미적 분할을 위한 준지도 및 자기지도 학습을 평가한다. 준지도 학습은 최소한의 레이블(최소 10%)을 사용해도 완전지도 학습 방법과 비교할 만한 성능을 달성하는 것으로 나타났으며, 자기지도 학습은 복잡한 생물학적 구조에서는 어려움을 겪지만 단순한 강도 기반 분할 작업에는 효과가 있다.

ABSTRACT

In recent years, Convolutional Neural Networks (CNNs) have become the state-of-the-art method for biomedical image analysis. However, these networks are usually trained in a supervised manner, requiring large amounts of labelled training data. These labelled data sets are often difficult to acquire in the biomedical domain. In this work, we validate alternative ways to train CNNs with fewer labels for biomedical image segmentation using. We adapt two semi- and self-supervised image classification methods and analyse their performance for semantic segmentation of biomedical microscopy images.

연구 동기 및 목표

• 대규모 레이블이 부족한 생물의학적 현미경 영상에서 준지도 및 자기지도 학습의 실현 가능성을 평가하는 것.
• 준지도 및 자기지도 학습을 위한 전형적인 컴퓨터 비전 기법이 구조적으로 복잡한 생물의학 영상 분할 작업으로 일반화되는지 평가하는 것.
• 세포 및 조직 수준의 분할을 포함한 다양한 생물의학 영상 도메인에서 레이블 효율성과 성능 간의 상충 관계를 조사하는 것.
• 자기지도 학습이 생물의학 영상 분석에서 활동 학습 또는 전이 학습을 위한 사전학습 또는 부트스트랩 단계로 활용될 잠재력을 탐색하는 것.
• 현재 자기지도 접근법이 레이블 없이 노이즈가 많고 구조적으로 복잡한 생물학적 영상 처리에 한계를 보이는 이유를 규명하는 것.

제안 방법

• U-Net 백본을 사용하여 준지도 의미적 분할을 위한 Unsupervised Data Augmentation(UDA) 방법을 적응시켰다.
• 이미지와 해당 진짜 마스크 양쪽에 공간적 데이터 증강(예: 회전, 뒤집기)을 적용하여 다양한 증강된 시각 간 예측을 일치시켰다.
• 원본 및 강력하게 증강된 이미지-마스크 쌍의 예측 간 일致성 정규화 손실을 사용하여 모델의 강건성을 강화했다.
• 레이블이 전혀 없는 완전 자기지도 학습을 위해 대비적 자기지도 학습(SimCLR 방식)을 적용하였으며, 시각 증강과 대비 손실을 사용했다.
• 각 데이터셋별로 픽셀 강도를 정규화하고, 고정된 크기로 자르는 전처리를 수행했다(준지도 학습용 512×512, 자기지도 학습용 256×256).
• 다양한 클래스 복잡도를 가진 여러 데이터셋에서 모델을 훈련시었다: PhC(간섭 현미경), FluoGFP 및 FluoHoechst(형광 영상), BigBrain(히스토로지적 뇌 단면도).

실험 결과

연구 질문

• RQ1 제한된 레이블 데이터로 준지도 학습이 생물의학적 현미경 영상에서 완전지도 학습 방법과 비교할 만한 분할 성능을 달성할 수 있는가?
• RQ2 구조적 복잡도가 다른 다양한 생물의학 영상 데이터셋에서 자기지도 학습의 성능는 어떻게 달라지는가?
• RQ3 준지도 학습 방법이 완전지도 기반 모델을 능가하거나 동등하게 성능을 내기 위해 필요한 최소한의 레이블 비율은 얼마인가?
• RQ4 어떤 상황에서 자기지도 학습이 레이블 없이도 의미 있는 분할 마스크를 생성할 수 있는가?
• RQ5 자기지도 사전학습과 미세조정을 조합하면 새로운 레이블이 없는 생물의학적 데이터셋에서 성능 향상을 이끌 수 있는가?

주요 결과

• 10%의 레이블만으로도 모든 테스트 데이터셋에서 완전지도 학습과 비교할 만한 분할 성능을 달성한 준지도 학습이 성공했다.
• UDA 기반 준지도 학습 접근법은 레이블 비율이 증가함에 따라 일관된 성능 향상을 보였으며, 낮은 레이블 비율에서도 성능 저하가 최소한이었다.
• 자기지도 학습은 일관된 강도 차이가 있는 단순 이진 분할 작업(예: FluoGFP, FluoHoechst)에서는 잘 작동했지만, BigBrain의 코어티컬 레이어와 같은 복잡한 구조에서는 실패했다.
• 신경해부학과 같은 복잡한 분할 작업에서는 자기지도 모델이 종종 탈선된 해답(예: 일정한 출력 예측)으로 수렴하여 손실 기반 모니터링이 신뢰할 수 없게 되었다.
• 자기지도 모델은 과다 분할 출력을 자주 생성했으며, 이는 의미 있는 클래스를 추출하기 위해 필터링 또는 후처리가 필요함을 시사한다.
• 본 연구는 향후 생물의학 영상 분할 파이프라인에서 자기지도 사전학습과 활동 학습 또는 전이 학습을 조합할 잠재력을 부각시켰다.