[논문 리뷰] Hybrid Retrieval-Generation Reinforced Agent for Medical Image Report Generation

Christy Y. Li, Xiaodan Liang외 2명|arXiv (Cornell University)|2018. 05. 21.

Multimodal Machine Learning Applications참고 문헌 45인용 수 151

한 줄 요약

HRGR-Agent은 템플릿 문장 검색과 생성 기반 표현의 결합으로 위계 강화 학습을 통해 학습되어 구조적이고 정확한 의료 보고서를 생성하고 두 개의 흉부 X-선 데이터세트에서 최첨단 성과를 달성합니다.

ABSTRACT

Generating long and coherent reports to describe medical images poses challenges to bridging visual patterns with informative human linguistic descriptions. We propose a novel Hybrid Retrieval-Generation Reinforced Agent (HRGR-Agent) which reconciles traditional retrieval-based approaches populated with human prior knowledge, with modern learning-based approaches to achieve structured, robust, and diverse report generation. HRGR-Agent employs a hierarchical decision-making procedure. For each sentence, a high-level retrieval policy module chooses to either retrieve a template sentence from an off-the-shelf template database, or invoke a low-level generation module to generate a new sentence. HRGR-Agent is updated via reinforcement learning, guided by sentence-level and word-level rewards. Experiments show that our approach achieves the state-of-the-art results on two medical report datasets, generating well-balanced structured sentences with robust coverage of heterogeneous medical report contents. In addition, our model achieves the highest detection accuracy of medical terminologies, and improved human evaluation performance.

연구 동기 및 목표

• 길고 일관된 의학 영상 보고서를 템플릿 기반의 신뢰성과 유연한 생성 간의 균형으로 개선하려는 동기.
• 보고서 구조와 용어를 안내하기 위해 템플릿 데이터베이스를 활용한 인간의 사전 지식을 활용한다.
• 문장 단위로 검색과 생성 사이를 선택하는 위계적 의사결정 프로세스를 개발한다.
• 문장 수준 보상과 단어 수준 보상을 사용하는 강화학습으로 검색과 생성 구성요소를 함께 학습한다.

제안 방법

• 의료 이미지를 CNN 기반 이미지 인코더에서 얻은 컨텍스트 벡터와 주의(attention)를 가진 문장 디코더에 의해 생성된 문장-주제 시퀀스 q로 표현한다.
• 각 토픽에 대해 데이터베이스에서 템플릿 문장을 검색할지 아니면 새 문장을 생성할지 결정하는 검색 정책 모듈을 사용한다.
• 의미별로 그룹화된(training) 보고서에서 자주 사용되는 문장들로 구성된 템플릿 데이터베이스를 유지한다.
• 생성이 선택될 때 주제와 이미지 컨텍스트에 조건화된 문장을 생성하는 생성 모듈을 구현한다.
• 문장 수준 보상(검색 정책용)과 단어 수준 보상(생성용)을 사용하는 위계적 강화학습으로 학습하고, 두 수준 모두 CIDEr 기반 보상과 delta-CIDEr 형식을 사용한다.

실험 결과

연구 질문

• RQ1 템플릿 검색과 신경 생성의 통합으로 정확성과 다양성을 해치지 않으면서 긴 의학 보고서를 어떻게 개선할 수 있는가?
• RQ2 위계적 강화학습이 순수 생성 또는 순수 검색 기준선과 비교했을 때 장기적 일관성과 사실적 근거 제시에 어떤 이점을 주는가?
• RQ3 템플릿 기반 검색 구성요소가 이상 소견의 포괄성을 향상시키면서 언어적 품질을 유지할 수 있는가?
• RQ4 의료 보고에서 엔드투엔드 RL 학습이 검색 정책과 생성 모듈 모두에 미치는 영향은 무엇인가?

주요 결과

• HRGR-Agent는 비검색 기준선과 비교하여 두 흉부 X-선 보고서 데이터세트에서 CIDEr/BLEU/ROUGE에서 최첨단 성능을 달성한다.
• 모델은 템플릿 같은 문장과 생성된 콘텐츠의 균형을 맞춰 이상 소견의 포괄성을 개선하면서도 유창한 언어를 유지한다.
• 검색만으로도 강력한 자동 점수를 얻지만 이상 용어의 정확한 탐지에는 약하며, RL을 통한 검색과 생성의 결합이 이상 용어의 정밀도를 높인다.
• HRGR-Agent는 기저선보다 사람 평가 선호도 점수가 높아 더 자연스럽고 정확한 보고서를 제시하며 적절한 용어를 사용한다.
• CX-CHR에서 HRGR-Agent는 CIDEr(2.895 대 2.800) 및 BLEU/ROUGE 지표에서 생성 전용 변형(HRG)보다 우수하여 검색 보강 방식의 이점을 보여준다.
• IU X-Ray에서 HRGR-Agent는 여러 기준선보다 더 높은 CIDEr와 BLEU/ROUGE를 달성하며 단순 검색 또는 단순 생성 방식보다 현저한 개선을 보인다.