[논문 리뷰] Bilateral Asymmetry Guided Counterfactual Generating Network for Mammogram Classification

Churan Wang, Jing Li외 5명|arXiv (Cornell University)|2020. 09. 30.

AI in cancer detection참고 문헌 52인용 수 20

한 줄 요약

이 논문은 단지 이미지 수준의 레이블만을 사용하여 유방 조영검사 분류를 위한 이중 대칭성 유도 반사적 생성 네트워크(CGN)를 제안한다. 해부학적 대칭성 사전 지식—양측 유방의 대응 부위에 병변이 드물게 나타남—을 활용하여, 생성적 적대적 네트워크(GAN) 기반 프레임워크를 통해 반사적 특징을 생성함으로써, 적대적 훈련과 분류 손실의 피드백을 통한 병변 정위 및 분류를 동시에 최적화한다. 이 방법은 INBreast 및 내부 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 특징 수준 정확도가 91.0%이고, 이미지 수준 생성보다 훨씬 빠른 훈련 속도를 기록한다.

ABSTRACT

Mammogram benign or malignant classification with only image-level labels is challenging due to the absence of lesion annotations. Motivated by the symmetric prior that the lesions on one side of breasts rarely appear in the corresponding areas on the other side, given a diseased image, we can explore a counterfactual problem that how would the features have behaved if there were no lesions in the image, so as to identify the lesion areas. We derive a new theoretical result for counterfactual generation based on the symmetric prior. By building a causal model that entails such a prior for bilateral images, we obtain two optimization goals for counterfactual generation, which can be accomplished via our newly proposed counterfactual generative network. Our proposed model is mainly composed of Generator Adversarial Network and a \emph{prediction feedback mechanism}, they are optimized jointly and prompt each other. Specifically, the former can further improve the classification performance by generating counterfactual features to calculate lesion areas. On the other hand, the latter helps counterfactual generation by the supervision of classification loss. The utility of our method and the effectiveness of each module in our model can be verified by state-of-the-art performance on INBreast and an in-house dataset and ablation studies.

연구 동기 및 목표

• 비용이 많이 드는 병변 레이블링을 피하기 위해 단지 이미지 수준의 레이블만을 사용하여 유방 조영검사의 양성/악성 분류 문제를 해결한다.
• 병변이 대응하는 양측 유방 부위에 드물게 나타나는 해부학적 대칭성 사전 지식을 활용하여 병변 정위에 적합한 도메인 특화 인덕티브 바이어스를 도입한다.
• 대칭성에 기반한 인과 모델을 활용하여 병변이 없는 상태에서 목표 이미지가 어떻게 보일지 시뮬레이션하는 반사적 특징을 생성한다.
• 분류 손실의 피드백 메커니즘을 통해 반사적 생성과 분류를 동시에 최적화함으로써, 해석 가능성과 성능을 모두 향상시킨다.

제안 방법

• 이중 대칭성을 모델링하기 위해 은닉 공변인자(hidden confounder)를 포함한 구조적 인과 모델(SCM)을 제안하여, 반사적 특징이 병변이 없는 영역에서 기준 특징과 일치하도록 보장한다.
• 픽셀 수준의 정렬 문제를 피하기 위해 특징 공간에서 작동하는 새로운 반사적 생성 네트워크(CGN)를 도입한다.
• 분류 손실이 반사적 특징 생성을 이끄는 생성기-적대 네트워크와 피드백 메커니즘을 결합한다. 반대로 생성된 특징은 분류 성능을 향상시킨다.
• 원본, 반사적, 기준 특징 간의 일관성을 강제하기 위해 트리플릿 손실(LF T)을 사용하며, 적대적 손실과 재구성 손실을 함께 적용한다.
• 다양한 손실을 동시에 최적화한다: LG(생성기), LD(판별기), LNE(정규화), LFC(특징 일관성), LCLS(분류).
• 정렬을 위해 기준 이미지에 수평 반전을 적용하고, 256개의 특징 채널에 걸쳐 최대 풀링(max-pooling)을 사용하여 시각화한다.

실험 결과

연구 질문

• RQ1 이중 대칭성 사전 지식을 공식적으로 활용하여 병변 정위를 위한 의미 있는 반사적 특징을 생성할 수 있는가?
• RQ2 의료 영상에서 구조적 인과 모델(SCM)을 사용하여 반사적 생성을 인과 추론 문제로 어떻게 공식화할 수 있는가?
• RQ3 단지 이미지 수준의 레이블만을 사용하는 경우, 반사적 생성과 분류의 동시 최적화가 감독 기반 기준 모델을 초월해 성능을 향상시킬 수 있는가?
• RQ4 특징 수준의 반사적 생성은 정확도와 훈련 속도 측면에서 이미지 수준의 생성보다 뛰어나다고 할 수 있는가?

주요 결과

• 제안된 CGN는 AlexNet를 사용하여 INBreast 데이터셋에서 종양 분류에 대해 91.0% AUC를 달성하여 모든 변형 및 기준 모델을 능가한다.
• ResNet50를 사용한 혼합 병변 분류에서 INBreast에서는 88.5% AUC, 내부 데이터셋에서는 78.1% AUC를 기록하여 다양한 병변 유형에 대한 강건성을 입증한다.
• 절단 실험을 통해 적대적 손실 또는 피드백 트리플릿 손실을 제거할 경우 성능 저하가 발생함을 확인하여, 두 구성 요소가 모두 필수적임을 검증한다.
• 특징 수준의 반사적 생성은 1에포크당 6.6초의 속도로 91.0%의 정확도를 달성하였으며, 이미지 수준 생성(1에포크당 23.5초)보다 뚜렷이 빠른 훈련 속도를 기록한다.
• 시각화 결과, 생성된 반사적 특징이 병변 관련 활성화를 효과적으로 억제하면서도 잔류 특징에서 맥락 정보를 유지하고 있음을 확인할 수 있다.
• 기존의 이중 비교 방법인 SBF, GF, SFF에 비해 명확한 성능 우월성을 보이며, 단순한 특징 융합보다 반사적 학습의 우수성을 입증한다.