[논문 리뷰] Domain Adaptation for MRI Organ Segmentation using Reverse Classification Accuracy

Vanya V. Valindria, Ioannis Lavdas외 6명|arXiv (Cornell University)|2018. 06. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 1인용 수 10

한 줄 요약

이 논문은 다중 센터 MRI 장기 분할에서 레이블링 노력을 크게 줄이기 위해 자동으로 가장 정보가 많은 대상자를 선택하는 데 사용되는 Reverse Classification Accuracy(RCA)를 활용하는 새로운 도메인 적응 프레임워크 DARCA를 제안한다. RCA에서 가장 높고 가장 낮은 신뢰도 예측을 조합하여 선택한 방법은 전체 타겟 데이터로의 완전한 피니팅 성능과 비교할 만큼 높은 성능을 달성하며, 이는 RCA를 기반으로 한 대상자 선택이 레이블링 부담을 효과적으로 줄일 수 있음을 보여준다. 또한 높은 정확도를 유지한다.

ABSTRACT

The variations in multi-center data in medical imaging studies have brought the necessity of domain adaptation. Despite the advancement of machine learning in automatic segmentation, performance often degrades when algorithms are applied on new data acquired from different scanners or sequences than the training data. Manual annotation is costly and time consuming if it has to be carried out for every new target domain. In this work, we investigate automatic selection of suitable subjects to be annotated for supervised domain adaptation using the concept of reverse classification accuracy (RCA). RCA predicts the performance of a trained model on data from the new domain and different strategies of selecting subjects to be included in the adaptation via transfer learning are evaluated. We perform experiments on a two-center MR database for the task of organ segmentation. We show that subject selection via RCA can reduce the burden of annotation of new data for the target domain.

연구 동기 및 목표

• 다른 영상 특성과 가진 신규 도메인으로 이식할 때, 한 스캐너나 프로토콜에서 학습된 모델의 성능 저하 문제를 해결하기 위해.
• 새로운 타겟 도메인에 대한 수동 레이블링의 높은 비용과 시간을 줄이기 위해 데이터 기반 기준을 사용해 가장 '가치 있는' 대상자를 식별함으로써.
• Reverse Classification Accuracy(RCA)가 도메인 적응 성능을 극대화하는 데 기여하는 대상자를 선택하는 데 효과적인 대체 기준이 될 수 있는지 평가하기 위해.
• 기본 모델인 완전한 피니팅과 무작위 선택과 비교하여 RCA 기반의 다양한 대상자 선택 전략을 초순자극 도메인 적응에서 비교하기 위해.
• 학습 데이터 크기와 샘플 구성(예: 높은 및 낮은 신뢰도 예측 조합)이 분할 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 이 방법은 타겟 도메인의 레이블이 없는 데이터에 대해 진짜 정답이 필요 없이 모델의 Dice Similarity Coefficient(DSC)를 예측하는 Reverse Classification Accuracy(RCA)를 사용하여 타겟 도메인 대상자의 정보성 수준을 순위 매긴다.
• 기본 모델은 먼저 소스 도메인(MALIBO 데이터셋)에서 학습된 후, 레이블이 없는 타겟 도메인 대상자(영국 생물은행 데이터)의 RCA 점수를 예측하기 위해 사용된다.
• 대상자는 RCA 점수에 따라 선택된다: 상위 5개(가장 높은 신뢰도)와 하위 5개(가장 낮은 신뢰도) 예측이 레이블링 대상으로 선정되고 피니팅 과정에 포함된다.
• 선택된 대상자들은 전이 학습을 통해 소스 모델을 피니팅하는 데 사용되며, 전체 타겟 테스트 세트에서 DSC를 사용해 성능이 평가된다.
• 다양한 전략을 비교한다: 전체 타겟 데이터로의 피니팅, 무작위 선택, 뿐만 아니라 상위/하위 5개만 선택, 그리고 상위 및 하위 5개 조합 선택(실제 DSC 및 RCA 예측 DSC 기반).
• 이 방법은 간 분할 및 우측 신장 분할 두 가지 작업에서 검증되었으며, 서로 다른 스캐너와 프로토콜에서 35개의 소스 대상자와 45개의 타겟 대상자를 사용하였다.

실험 결과

연구 질문

• RQ1 Reverse Classification Accuracy(RCA)가 레이블링된 후 피니팅에 사용했을 때 가장 높은 성능 향상을 가져올 타겟 도메인 대상자를 효과적으로 예측할 수 있는가?
• RQ2 RCA 예측에서 높은 신뢰도와 낮은 신뢰도 예측을 조합하여 선택하는 것이 뿐만 아니라 상위 또는 하위 대상자만 선택하는 것보다 더 나은 도메인 적응 성능을 제공하는가?
• RQ3 전체 타겟 데이터로의 완전한 피니팅과 비교했을 때 DARCA의 성능은 DSC와 레이블링 효율성 측면에서 어떻게 되는가?
• RQ4 RCA 기반의 대상자 선택이 전체 타겟 데이터로의 학습과 비교해 유사한 성능을 달성하면서도 레이블링 비용을 극적으로 줄일 수 있는가?
• RQ5 RCA 기반 선택 전략은 다양한 장기 분할 작업과 다양한 수준의 도메인 이동 상황에서 얼마나 강건한가?

주요 결과

• RCA를 통해 선택한 상위 5개와 하위 5개 대상자를 조합한 결과, 간 분할에서 DSC는 0.726을 기록했으며, 전체 45개 타겟 데이터로의 완전한 피니팅 성능(DSC: 0.658)을 초월했다.
• 우측 신장 분할의 경우, RCA로 선택한 상위 및 하위 5개 대상자 조합이 DSC 0.716을 달성했으며, 전체 타겟 데이터로의 학습에서의 성능(DSC: 0.719)과 유사했고, 전체 데이터로의 완전한 피니팅보다 유의미하게 높았다.
• 실제 DSC 기반 선택과 유사한 결과를 RCA 기반 선택이 도출함으로써, RCA가 성능 예측을 위한 신뢰할 수 있는 대체 기준임을 확인했다.
• 가짜 레이블을 사용한 피니팅은 노이즈를 유발하고 성능을 악화시켰으며, 이는 이 초순자극 도메인 적응 환경에서는 가짜 레이블링이 유익하지 않음을 보여준다.
• RCA 기반 방법은 레이블링 대상자를 10명(타겟 데이터의 10%)으로 제한함으로써 레이블링 부담을 크게 줄였고, 최소한의 레이블링 노력으로 최신 기술 수준의 성능을 달성했다.
• 반복적인 능동 학습이 필요 없이 한 번의 선택 및 피니팅 파이프라인을 구현함으로써, 이전 방법보다 더 빠르고 효율적인 프로세스를 제공했다.