[논문 리뷰] Addressing Data Bias Problems for Chest X-ray Image Report Generation

Philipp Harzig, Yanying Chen외 2명|arXiv (Cornell University)|2019. 08. 06.

Topic Modeling인용 수 28

한 줄 요약

이 논문은 흉부 X-ray 보고서 생성에서 데이터 편향 문제를 해결하기 위해 이중 단어 LSTM과 이상 징후 예측기를 갖춘 계층적 LSTM을 제안하며, 보고서 생성의 다양성을 향상시키고 정상 보고서에 대한 과도한 의존도를 줄인다. 이 방법은 생성된 보고서의 독창성을 높이고, Cider와 Rouge-L에서 베이스라인을 초월하여 비정상 케이스에서 특히 우수한 성능을 보이며, BLEU와 같은 표준 평가 지표의 한계를 드러낸다.

ABSTRACT

Automatic medical report generation from chest X-ray images is one possibility for assisting doctors to reduce their workload. However, the different patterns and data distribution of normal and abnormal cases can bias machine learning models. Previous attempts did not focus on isolating the generation of the abnormal and normal sentences in order to increase the variability of generated paragraphs. To address this, we propose to separate abnormal and normal sentence generation by using two different word LSTMs in a hierarchical LSTM model. We conduct an analysis on the distinctiveness of generated sentences compared to the BLEU score, which increases when less distinct reports are generated. We hope our findings will help to encourage the development of new metrics to better verify methods of automatic medical report generation.

연구 동기 및 목표

• 훈련 데이터의 클래스 불균형으로 인해 모델이 정상 소견을 과도하게 생성하는 흉부 X-ray 보고서 생성에서의 데이터 편향 문제를 해결하기 위해.
• 특히 비정상 소견에 대해 생성된 의료 보고서의 다양성과 독창성을 향상시키기 위해.
• 의료 보고서 생성 평가에 사용되는 표준 기계 번역 지표인 BLEU의 한계를 조사하기 위해.
• 정상 및 비정상 문장 생성을 분리함으로써 보고서의 변동성과 임상적 관련성을 향상시키는 모델 아키텍처를 개발하기 위해.

제안 방법

• 공개된 IU CXR 데이터셋의 각 문장을 비정상/정상 레이블로 주석 처리하여 타겟트 훈련을 가능하게 한다.
• 공유된 이미지 인코더를 사용한 계층적 LSTM 모델을 설계하며, 정상 및 비정상 문장 생성을 위한 이중 단어 LSTM을 포함한다.
• 이상 징후 예측 모듈을 통합하여 이중 LSTM을 시각적 콘텐츠에 기반한 적절한 생성으로 이끌도록 한다.
• 시각적 특징과 언어적 표현 간의 정렬을 향상시키기 위해 공액 주의 메커니즘을 사용한다.
• 교차 엔트로피 손실을 사용해 엔드 투 엔드로 모델을 훈련하고, 표준 평가 지표(BLEU, Cider, Meteor, Rouge-L)를 사용해 평가한다.
• 평가 점수와 보고서 독창성 간의 상관관계를 분석하여 평가 지표의 신뢰성을 평가한다.

실험 결과

연구 질문

• RQ1 흉부 X-ray 보고서 데이터셋의 데이터 불균형은 모델이 정상 소견을 생성하는 데로의 편향에 어떤 영향을 미치는가?
• RQ2 이중 단어 LSTM을 통해 정상 및 비정상 문장 생성을 분리하면 보고서 다양성 향상과 모델 편향 감소에 어떤 영향을 미치는가?
• RQ3 표준 기계 번역 지표인 BLEU가 생성된 의료 보고서의 독창성과 임상적 관련성과 얼마나 상관관계가 있는가?
• RQ4 제안된 이중 LSTM 아키텍처는 표준 계층적 LSTM보다 비정상 케이스에서 더 다양하고 정확한 보고서를 생성하는 데에서 뛰어난 성능을 보이는가?
• RQ5 정상 케이스 생성 품질을 희생시키지 않고도 비정상 케이스에서의 성능을 향상시킬 수 있는가?

주요 결과

• HLSTM+att+Dual 모델은 테스트 세트에서 최고의 Cider 점수(49.5)를 기록하여 기준 보고서의 독창적인 n-gram을 더 잘 포착한 것으로 나타났다.
• 이중 단어 LSTM 모델은 정상 단일 LSTM 베이스라인 대비 문장 인덱스별로 유의미하게 더 많은 독창적인 문장을 생성했으며, 적절한 정지 기준을 사용할 경우 더욱 두드러졌다.
• 높은 BLEU-4 점수에도 불구하고, 한 모델은 모든 입력에 대해 동일한 보고서를 생성한 바 있어, 높은 BLEU 점수도 보고서 다양성이나 품질을 보장하지 못함을 입증했다.
• Meteor와 Rouge-L에서 베이스라인을 초월하여, 독창성을 희생시키지 않고도 관련성과 유창성이 향상된 것으로 나타났다.
• 정상 영상에서는 항상 비정상 영상보다 성능이 뛰어나, 임상적으로 중요한 비정상 케이스에 대해 특별히 개선이 필요함을 시사했다.
• 분석 결과, BLEU와 같은 표준 지표는 보고서 독창성에 대해 빈약한 지표로 밝혀졌으며, 이는 의료 보고서 생성 분야에서 새로운 평가 지표 개발의 필요성을 시사한다.