[논문 리뷰] Semi-supervised Anatomical Landmark Detection via Shape-regulated Self-training

Runnan Chen, Yuexin Ma외 5명|arXiv (Cornell University)|2021. 05. 28.

Medical Imaging and Analysis참고 문헌 35인용 수 4

한 줄 요약

이 논문은 자기 훈련 프레임워크를 통해 해부학적 랜드마크 검출을 위한 형상 규제 기반의 반감독 학습 방법을 제안한다. 이 방법은 퇴적된 형상 우선 정보를 활용해 일관성 없는 가짜 라벨를 보정하고, 영역 주의 손실을 통해 네트워크가 구조적으로 일관된 영역을 향해 유도한다. 제안된 방법은 최신 기술 수준의 성능을 달성하여 기준 데이터셋에서 평균 정렬 오차를 6.3% 향상시키며, 최소한의 라벨 데이터로도 강력한 일반화 성능을 보인다.

ABSTRACT

Well-annotated medical images are costly and sometimes even impossible to acquire, hindering landmark detection accuracy to some extent. Semi-supervised learning alleviates the reliance on large-scale annotated data by exploiting the unlabeled data to understand the population structure of anatomical landmarks. The global shape constraint is the inherent property of anatomical landmarks that provides valuable guidance for more consistent pseudo labelling of the unlabeled data, which is ignored in the previously semi-supervised methods. In this paper, we propose a model-agnostic shape-regulated self-training framework for semi-supervised landmark detection by fully considering the global shape constraint. Specifically, to ensure pseudo labels are reliable and consistent, a PCA-based shape model adjusts pseudo labels and eliminate abnormal ones. A novel Region Attention loss to make the network automatically focus on the structure consistent regions around pseudo labels. Extensive experiments show that our approach outperforms other semi-supervised methods and achieves notable improvement on three medical image datasets. Moreover, our framework is flexible and can be used as a plug-and-play module integrated into most supervised methods to improve performance further.

연구 동기 및 목표

• 의료 영상에서 해부학적 랜드마크의 수동 레이블링에 필요한 높은 비용과 전문 지식을 해결하기 위해.
• 반감독 학습에서 비라벨 데이터를 활용해 대규모 완전 레이블링 데이터셋에 대한 의존도를 줄이기 위해.
• 기존 방법에서 간과되는 전반적인 해부학적 형상 제약 조건을 통합함으로써 자기 훈련 중 가짜 라벨의 일관성을 향상시키기 위해.
• 기존 히트맵 기반 감독 학습 방법과 호환되는 유연하고 즉시 사용 가능한 모듈을 개발하여 성능 향상시키기 위해.

제안 방법

• 비라벨 데이터에 대해 초기 가짜 라벨를 생성하기 위해 사전 훈련된 백본 네트워크를 사용한다.
• 학습된 형상 공간에 투영하고 이상 또는 일관성 없는 예측을 걸러내는 방식으로 PCA 기반 형상 모델을 활용해 가짜 라벨를 정규화한다.
• 정확한 점에 고정시키는 대신, 가짜 라벨된 랜드마크 주변의 공간적으로 일관된 구조적 영역을 집중시키도록 유도하는 영역 주의 손실을 도입한다.
• 반복적인 자기 훈련을 수행한다: 형상 규제를 통해 가짜 라벨를 개선하고, 영역 주의 손실로 최적화하며, 네트워크를 업데이트하여 진짜 라벨를 더 잘 예측하도록 한다.
• 다양한 원천의 비라벨 데이터를 활용해 다양한 영상 장치 간의 강인성을 확보한다.
• 기존 감독 학습 기반 랜드마크 검출 모델에 즉시 통합 가능한 플러그 앤 플레이 모듈로 프레임워크를 통합한다.

실험 결과

연구 질문

• RQ1 전반적인 해부학적 형상 제약 조건을 효과적으로 활용하여 반감독 학습에서 가짜 라벨의 품질을 향상시킬 수 있는가?
• RQ2 PCA 기반 우선 정보를 통한 형상 규제가 자기 훈련 중 가짜 라벨의 일관성 불일치를 어떻게 감소시키는가?
• RQ3 영역 주의 손실이 랜드마크 주변의 구조적으로 일관된 영역에 집중함으로써 특징 학습을 얼마나 향상시키는가?
• RQ4 비라벨 데이터가 라벨 데이터와 다른 영상 장치에서 유래할 경우, 이 방법의 일반화 능력은 어떠한가?
• RQ5 이 형상 규제 기반 자기 훈련 방법을 사용할 경우, 최소한의 라벨 데이터로 얼마나 높은 성능 향상을 기대할 수 있는가?

주요 결과

• 제안된 방법은 기존 반감독 학습 방법 대비 3D 턱골 데이터셋에서 평균 정렬 오차를 6.3% 향상시켰다.
• 세팔로그램 데이터셋에서 라벨 데이터가 20개 뿐이어도 16.7%의 성능 향상을 달성하여 높은 데이터 효율성을 입증했다.
• 제거 실험 결과, 영역 주의 손실을 제거할 경우 오차가 0.8925mm에서 0.9293mm로 증가하여, 이 손실이 성능 향상에 핵심적인 역할을 한다는 것을 확인했다.
• 형상 규제를 생략할 경우 오차는 0.8925mm에서 0.9117mm로 증가하여, 형상 우선 정보가 자기 훈련의 안정성과 정확도 향상에 기여한다는 것을 입증했다.
• 비라벨 데이터가 많을수록 성능 향상이 뚜렷했다: 150, 300, 600개의 비라벨 샘플을 사용했을 때 각각 4.4%, 5.8%, 6.7%의 성능 향상을 기록했다.
• 다양한 영상 장치 간에서 잘 일반화되어, 비라벨 데이터가 라벨 데이터와 다른 스캐너에서 유래하더라도 높은 성능을 유지했다.