[논문 리뷰] UnICLAM:Contrastive Representation Learning with Adversarial Masking for Unified and Interpretable Medical Vision Question Answering

Chenlu Zhan, Peng Peng외 3명|arXiv (Cornell University)|2022. 12. 21.

Multimodal Machine Learning Applications인용 수 9

한 줄 요약

UnICLAM은 대조적 표현 학습과 적대적 마스킹을 활용하여 통합적이고 해석 가능한 의료 비전 질의응답 모델을 제안한다. 비전 및 텍스트 인코더 간에 점진적인 소프트-파라미터 공유를 강제하고 데이터 증강을 위해 통합된 적대적 마스킹을 적용함으로써, UnICLAM은 VQA-RAD 및 SLAKE 벤치마크에서 최신 기술 수준의 성능을 달성하며, 흑백 X-ray 및 CT 데이터셋에서 각각 95.9% 및 92.4%의 정확도를 기록한다. 더불어 의미적으로 정렬된 마스크를 통해 강력한 앤티-호크 해석 가능성을 제공한다.

ABSTRACT

Medical Visual Question Answering (Medical-VQA) aims to to answer clinical questions regarding radiology images, assisting doctors with decision-making options. Nevertheless, current Medical-VQA models learn cross-modal representations through residing vision and texture encoders in dual separate spaces, which lead to indirect semantic alignment. In this paper, we propose UnICLAM, a Unified and Interpretable Medical-VQA model through Contrastive Representation Learning with Adversarial Masking. Specifically, to learn an aligned image-text representation, we first establish a unified dual-stream pre-training structure with the gradually soft-parameter sharing strategy. Technically, the proposed strategy learns a constraint for the vision and texture encoders to be close in a same space, which is gradually loosened as the higher number of layers. Moreover, for grasping the unified semantic representation, we extend the adversarial masking data augmentation to the contrastive representation learning of vision and text in a unified manner. Concretely, while the encoder training minimizes the distance between original and masking samples, the adversarial masking module keeps adversarial learning to conversely maximize the distance. Furthermore, we also intuitively take a further exploration to the unified adversarial masking augmentation model, which improves the potential ante-hoc interpretability with remarkable performance and efficiency. Experimental results on VQA-RAD and SLAKE public benchmarks demonstrate that UnICLAM outperforms existing 11 state-of-the-art Medical-VQA models. More importantly, we make an additional discussion about the performance of UnICLAM in diagnosing heart failure, verifying that UnICLAM exhibits superior few-shot adaption performance in practical disease diagnosis.

연구 동기 및 목표

• 기존 의료-VQA 모델에서 별도의 비전 및 텍스트 인코더를 사용함으로써 발생하는 의미적 정렬 부족 문제를 해결하기 위해.
• 점진적인 소프트-파라미터 공유를 통해 비전 및 텍스트 인코더를 통합함으로써 교차 모odal 표현 학습을 향상시키기 위해.
• 통합된 방식으로 대조 학습에 적대적 마스킹을 확장함으로써 모델의 해석 가능성 향상시키기 위해.
• 후행적 해석 도구에 의존하는 것 대신, 학습 과정에 해석 가능성을 내재한 앤티-호크 해석 가능성을 제공하기 위해.
• 실제 임상 진단에서 소수의 샘플에 대한 일반화 능력을 평가하기 위해, 특히 심부전 진단에 초점 맞춤.

제안 방법

• 비전 및 텍스트 인코더가 $l_2$ 거리 페널티를 통해 계층별로 점진적으로 파라미터를 공유하도록 제약을 가한 통합 이중 스트림 사전학습 구조가 도입된다.
• 소프트-파라미터 공유 전략은 하위 계층에서 상위 계층으로 갈수록 제약을 점차 완화함으로써, 초기 표현을 과도하게 제약 없이 정렬을 촉진한다.
• 적대적 마스킹이 통합된 대조 표현 학습으로 확장된다: 인코더는 원본 및 마스킹된 샘플 간의 거리를 최소화하고, 마스킹 모듈은 이 거리를 적대적으로 최대화한다.
• 적대적 마스킹 모듈은 비전 및 텍스트 양쪽에 의미적으로 유의미한 마스크를 생성하여 정렬과 해석 가능성을 향상시킨다.
• 학습 과정에서 의미적으로 일관된 비전 및 텍스트 마스크를 생성함으로써, 후행적 도구 없이도 앤티-호크 해석 가능성을 실현한다.
• 모델은 의료 영상-텍스트 쌍으로 사전학습되고, VQA 벤치마크인 VQA-RAD 및 SLAKE에서 미세조정된다.

실험 결과

연구 질문

• RQ1 점진적인 소프트-파라미터 공유를 갖는 통합 이중 스트림 아키텍처가 의료-VQA에서 교차 모달 정렬을 향상시킬 수 있는가?
• RQ2 통합된 대조 학습에 적대적 마스킹을 확장하면 성능 향상과 해석 가능성 향상에 기여하는가?
• RQ3 제안된 방법이 실제 임상 진단, 예를 들어 심부전 검출과 같은 소수의 샘플에 대해 강력한 일반화 능력을 보일 수 있는가?
• RQ4 Grad-CAM과 같은 후행적 방법과 비교해, 적대적 마스크의 앤티-호크 해석 가능성은 의미적 관련성과 정확도 측면에서 어떻게 다른가?
• RQ5 통합된 표현 학습 프레임워크가 표준 의료-VQA 벤치마크에서 기존 최신 기술 수준의 모델을 얼마나 뛰어넘는가?

주요 결과

• UnICLAM은 VQA-RAD 벤치마크의 X-ray 데이터셋에서 전체 정확도 95.9%를 기록하고 CT 데이터셋에서는 92.4%를 달성하여 이전 최신 기술 수준의 모델을 크게 능가한다.
• MEVF+BAN이라는 강력한 베이스라인과 비교해 CT에서는 11.2% 향상되고 X-ray에서는 10.7% 향상된다.
• MMBERT와 비교해 X-ray 데이터셋에서는 9.1% 더 높고, CT 데이터셋에서는 9.5% 더 높은 정확도를 기록한다.
• PubMedCLIP보다 X-ray 데이터셋에서 6.0%, CT 데이터셋에서는 6.9% 더 높은 정확도를 기록하며, 특정 질문 유형(Q1: +5.8%, +6.5%; Q2: +6.6%, +7.1%)에서는 더 큰 향상을 보인다.
• UnICLAM이 생성한 적대적 마스크는 심장 影, 폐 혈관 영역 등 임상적으로 관련 있는 영역을 정확히 국소화하지만, MEVF+BAN은 관련 없는 단어나 배경에 집중한다.
• 통합된 적대적 마스킹 방법은 원래의 무작위 마스크와 달리 의미적으로 정렬된 비전 및 텍스트 마스크를 생성하며, 후행적 도구 없이도 강력한 앤티-호크 해석 가능성을 제공한다.