[논문 리뷰] TandemNet: Distilling Knowledge from Medical Images Using Diagnostic Reports as Optional Semantic References

Zizhao Zhang, Pingjun Chen외 2명|arXiv (Cornell University)|2017. 08. 10.

Multimodal Machine Learning Applications참고 문헌 13인용 수 3

한 줄 요약

TandemNet는 진단 보고서와 의료 영상을 이중 주의 메커니즘을 통해 통합하는 다중모달 딥러닝 프레임워크로, 질병 분류 성능을 향상시키고 예측의 해석 가능성을 제공한다. 이미지와 언어 특징을 공동으로 학습함으로써 BCIDR 데이터셋에서 최신 기술 수준의 성능을 달성하며, 주의 맵과 보고서 생성을 통한 이미지 전용 추론도 가능하게 한다.

ABSTRACT

In this paper, we introduce the semantic knowledge of medical images from their diagnostic reports to provide an inspirational network training and an interpretable prediction mechanism with our proposed novel multimodal neural network, namely TandemNet. Inside TandemNet, a language model is used to represent report text, which cooperates with the image model in a tandem scheme. We propose a novel dual-attention model that facilitates high-level interactions between visual and semantic information and effectively distills useful features for prediction. In the testing stage, TandemNet can make accurate image prediction with an optional report text input. It also interprets its prediction by producing attention on the image and text informative feature pieces, and further generating diagnostic report paragraphs. Based on a pathological bladder cancer images and their diagnostic reports (BCIDR) dataset, sufficient experiments demonstrate that our method effectively learns and integrates knowledge from multimodalities and obtains significantly improved performance than comparing baselines.

연구 동기 및 목표

• 학습 중 진단 보고서를 의미적 기반 자료로 활용하여 의료 영상 분류의 정확성과 해석 가능성을 향상시키기 위해.
• 이미지와 보고서에서 동시에 학습하는 다중모달 신경망을 개발하여 이미지 기반 및 이미지-텍스트 공동 기반 추론을 가능하게 하기 위해.
• 관련된 영상 영역과 보고서 문단을 강조하는 시각적 및 텍스트 주의 맵을 통해 설명 가능한 예측을 제공하기 위해.
• 세분화된 언어 모델을 미세조정하여 이미지에서부터 종합적인 진단 보고서 생성을 가능하게 하여 임상 적용성을 향상시키기 위해.
• 추론 시 텍스트 입력 유무를 가리지 않고 모델의 견고성과 일반화 능력을 검증하기 위해.

제안 방법

• 시각적 표현 $\bm{V}$로 $14 \times 14 \times C$ 크기의 특징 맵을 추출하기 위해 넓은 잔차 네트워크(WRN)를 영상 인코더로 사용한다.
• 진단 보고서를 $\bm{S} \in \mathbb{R}^{D \times N}$ 행렬로 인코딩하기 위해 LSTM 기반 언어 모델을 사용하며, 각 열은 특징 기술을 나타낸다.
• 시각적 특징 $\bm{V}$와 의미적 특징 $\bm{S}$ 간의 이중 모odal 주의를 계산하여 맥락 벡터 $\bm{c}$를 생성하는 이중 주의 메커니즘을 도입한다.
• 이미지 및 텍스트 특징에 조건화된 시각적 특징 맵 위에 학습 가능한 주의 맵 $\bm{\alpha}$를 적용하여 주요 영상 영역을 강조한다.
• 맥락 벡터 $\bm{c}$ 위에 다층 퍼셉트론(MLP) 헤드를 적용하여 최종 분류를 수행하며, 시각적 특징의 무결성을 유지하기 위해 잔차 연결을 사용한다.
• 초기 학습 단계에서 고정된 CNN 및 이중 주의 모듈을 유지하면서, 역전파를 시간에 따라 적용(BPTT)하여 전체 네트워크를 미세조정하여 진단 보고서 생성을 유도한다.

실험 결과

연구 질문

• RQ1 진단 보고서가 옵션으로 제공되는 의미적 기반 자료로 효과적으로 활용되어 의료 영상 분류의 정확성과 해석 가능성 향상에 기여할 수 있는가?
• RQ2 이중 주의 메커니즘이 다중모달 네트워크에서 시각적 및 텍스트 모달 간의 특징 정제 과정을 어떻게 향상시키는가?
• RQ3 이미지와 보고서를 함께 학습한 모델이 추론 시 텍스트 입력이 없을 경우에도 높은 성능을 유지할 수 있는가?
• RQ4 이미지만으로도 임상적으로 관련성이 있는 진단 보고서 기술을 생성할 수 있는가? 그리고 전문가가 작성한 보고서와 비교해 볼 때 어떤가?
• RQ5 특정 질병 레이블에 대해 가장 예측력 있는 이미지 및 텍스트 특징는 무엇이며, 주의 맵이 병리학자가 사용하는 임상적 추론을 반영할 수 있는가?

주요 결과

• TandemNet은 BCIDR 데이터셋에서 기준 모델보다 유의미하게 향상된 분류 정확도를 달성하였으며, 텍스트 입력이 없는 조건에서 ResNet16-4보다 4%의 성능 향상을 보였다.
• 텍스트 입력이 없을 경우에도 모델은 강력한 시각적 주의 성능 유지를 보였으며, 이는 이중 주의 메커니즘이 텍스트에 의존하지 않고도 시각적 특징의 유용성을 유지함을 시사한다.
• 텍스트 주의 맵은 매우 선택적으로 작동하여 세포 집합과 핵의 이질성과 같은 임상적으로 관련성이 높은 특징에 집중하며, 이는 고등급 질환 레이블과 강하게 상관된다.
• t-SNE 시각화 결과, 텍스트를 사용하여 학습한 경우 MLP의 입력이 더 잘 군집되어 있음을 확인하여, 더 나은 특징 표현 학습이 이루어졌음을 확인했다.
• TandemNet에서 생성된 진단 보고서는 병리학자가 작성한 보고서와 강한 일치를 보였으며, 그림 6의 녹색 텍스트 결과는_blk 텍스트 전문가 기술과 거의 일치했다.
• 학습 중 최적의 텍스트 제거 비율은 0.5였으며, 이는 텍스트 의존성과 결측 보고서에 대한 내성 간의 균형을 맞춰, 텍스트 유무에 관계없이 최고의 성능을 달성하는 데 기여했다.