[논문 리뷰] Adaptive Hierarchical Dual Consistency for Semi-Supervised Left Atrium Segmentation on Cross-Domain Data

Jun Chen, Heye Zhang외 5명|PubMed|2021. 09. 17.

COVID-19 diagnosis using AI참고 문헌 50인용 수 10

한 줄 요약

이 논문은 교차 도메인 의료 영상 데이터에서 좌심방 분할을 위한 준지도 학습 프레임워크인 적응형 계층적 이중 일致성(Adaptive Hierarchical Dual Consistency, AHDC)을 제안한다. 양방향 적대적 인퍼런스를 통해 도메인 분포를 정렬하고, 계층적 이중 일치 모듈을 통해 내부 및 외부 도메인 간 보완 정보를 활용함으로써, 최소한의 레이블 데이터로도 최신 기술 수준의 분할 정확도를 달성하며, 네 개의 LGE-CMR 및 한 개의 CT 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

Semi-supervised learning provides great significance in left atrium (LA) segmentation model learning with insufficient labelled data. Generalising semi-supervised learning to cross-domain data is of high importance to further improve model robustness. However, the widely existing distribution difference and sample mismatch between different data domains hinder the generalisation of semi-supervised learning. In this study, we alleviate these problems by proposing an Adaptive Hierarchical Dual Consistency (AHDC) for the semi-supervised LA segmentation on cross-domain data. The AHDC mainly consists of a Bidirectional Adversarial Inference module (BAI) and a Hierarchical Dual Consistency learning module (HDC). The BAI overcomes the difference of distributions and the sample mismatch between two different domains. It mainly learns two mapping networks adversarially to obtain two matched domains through mutual adaptation. The HDC investigates a hierarchical dual learning paradigm for cross-domain semi-supervised segmentation based on the obtained matched domains. It mainly builds two dual-modelling networks for mining the complementary information in both intra-domain and inter-domain. For the intra-domain learning, a consistency constraint is applied to the dual-modelling targets to exploit the complementary modelling information. For the inter-domain learning, a consistency constraint is applied to the LAs modelled by two dual-modelling networks to exploit the complementary knowledge among different data domains. We demonstrated the performance of our proposed AHDC on four 3D late gadolinium enhancement cardiac MR (LGE-CMR) datasets from different centres and a 3D CT dataset. Compared to other state-of-the-art methods, our proposed AHDC achieved higher segmentation accuracy, which indicated its capability in the cross-domain semi-supervised LA segmentation.

연구 동기 및 목표

• 심방세동 진단을 위한 좌심방(LA) 분할에서 레이블이 제한된 문제를 해결한다.
• 다중 센터 심장 MRI 및 CT 데이터 간의 도메인 이동과 샘플 불일치 문제를 준지도 학습에서 극복한다.
• 일치하지 않는 샘플이 없는 다수의 데이터 도메인에서의 보완 정보를 활용하여 모델 일반화 능력을 향상시킨다.
• 특히 자원이 제한된 환경에서 최소한의 레이블 데이터로도 높은 성능을 유지하는 프레임워크를 개발한다.
• 이질적인 데이터 분포를 정렬하고 도메인 간 특징 일관성을 향상시켜 효과적인 교차 도메인 준지도 학습을 실현한다.

제안 방법

• 다른 데이터 도메인 간의 특징 분포를 정렬하기 위해 상호 작용하는 두 개의 도메인 적응 네트워크를 학습하는 양방향 적대적 인퍼런스(Bidirectional Adversarial Inference, BAI) 모듈을 도입한다.
• 이중 모델링 네트워크를 사용하여 도메인 내 및 도메인 간에 일관성 제약 조건을 강제하는 계층적 이중 일치(Hierarchical Dual Consistency, HDC) 모듈을 구현한다.
• 동일 도메인의 비라벨 데이터에 대해 이중 모델링 예측 간 일치를 강제하여 도메인 내 일관성을 적용한다.
• 다른 도메인에서 훈련된 이중 네트워크의 예측을 정렬하여 교차 도메인 보완 지식을 활용함으로써 도메인 간 일관성을 강제한다.
• 다른 도메인에서 유의미하게 독립적인 조건부 특징을 추출하기 위해 수직 가중치 제약 조건을 적용하여 도메인 간 학습을 향상시키면서도 도메인 특화 특징를 유지한다.
• 자기 주의 메커니즘을 $8\times8$ 특징 패치에만 적용하고 추론 시 주의 분기 경로를 제거함으로써 계산 비용을 절감하며, 오직 국소 모델링 헤드만을 유지한다.

실험 결과

연구 질문

• RQ1 제한된 레이블 데이터로 인해 이질적인 의료 영상 도메인 간에 준지도 학습이 효과적으로 일반화될 수 있는가?
• RQ2 다중 센터 심장 MRI 및 CT 데이터 간의 도메인 분포 이동과 샘플 불일치 문제를 준지도 분할에서 어떻게 완화할 수 있는가?
• RQ3 내부 도메인 및 외부 도메인 학습에서의 보완 정보는 레이블 수가 적은 환경에서 분할 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 계층적 이중 일치 메커니즘이 기존 준지도 학습 및 도메인 일반화 방법보다 교차 도메인 좌심방 분할에서 더 우수한 성능을 내는가?
• RQ5 모델 성능은 수직 가중치 제약 계수와 같은 초모수의 선택에 대해 얼마나 민감한가?

주요 결과

• AHDC는 세 개의 센터에서 0%의 레이블 데이터와 한 센터에서 100%의 비라벨 데이터로 훈련했을 때, DSC(Dice Similarity Coefficient)가 $0.938 \pm 0.015$를 기록하여 동일 조건에서 기준 U-Net($0.923 \pm 0.025$)보다 뛰어난 성능을 보였다.
• 재현율 지수(Jaccard Index)는 $0.883 \pm 0.026$로 향상되었고, 평균 표면 거리(Average Surface Distance)는 $0.506 \pm 0.164$로 감소하여 분할 정밀도 및 표면 정확도가 향상됨을 나타냈다.
• 수직 가중치 제약 조건은 다양한 도메인 간 분할 정확도를 향상시켰으며, 초모수 변화($\lambda_{ow} = 0.1$ 및 $1.0$)에 대해서도 강건함을 입증하여 도메인 특화 특징 추출의 효과성을 확인했다.
• AHDC는 강력한 교차 도메인 일반화 능력을 보였으며, 도메인 이동과 레이블 변동이 존재하는 상황에서도 단일 센터의 모든 레이블 데이터로 훈련된 모델보다 높은 성능을 달성했다.
• 제거 실험(ablation study)를 통해 BAI 및 HDC 모듈이 성능 향상에 기여하며, 특히 HDC 모듈이 도메인 간 비라벨 데이터를 효과적으로 활용하는 데 뛰어난 역할을 함을 확인했다.
• 훈련 후 주의 분기 경로를 제거하고 오직 경량의 국소 모델링 헤드만을 유지함으로써 추론 시 높은 효율성을 유지했다.