[논문 리뷰] Ultrasound Video Summarization using Deep Reinforcement Learning

Tianrui Liu, Qingjie Meng외 4명|arXiv (Cornell University)|2020. 05. 19.

Video Analysis and Summarization참고 문헌 18인용 수 4

한 줄 요약

이 논문은 초음파 영상에 대한 딥 강화학습(DRL) 기반 영상 요약 방법을 제안한다. 이 방법은 프레임 특징을 모델링하기 위해 이방향 LSTM를 사용하고, 진단적 시점 평면 탐지, 대표성, 다양성에 중점을 둔 보상 함수를 적용한다. 제안된 방법은 특히 비지도 학습 설정에서 최신 기술 수준의 성능을 달성하며, 태아 초음파 영상 요약에서 F1 스코어 63.23%를 기록한다. 이는 임상적으로 중요한 진단 정보를 유지하면서 영상 길이를 최대 85%까지 단축시킨다.

ABSTRACT

Video is an essential imaging modality for diagnostics, e.g. in ultrasound imaging, for endoscopy, or movement assessment. However, video hasn't received a lot of attention in the medical image analysis community. In the clinical practice, it is challenging to utilise raw diagnostic video data efficiently as video data takes a long time to process, annotate or audit. In this paper we introduce a novel, fully automatic video summarization method that is tailored to the needs of medical video data. Our approach is framed as reinforcement learning problem and produces agents focusing on the preservation of important diagnostic information. We evaluate our method on videos from fetal ultrasound screening, where commonly only a small amount of the recorded data is used diagnostically. We show that our method is superior to alternative video summarization methods and that it preserves essential information required by clinical diagnostic standards.

연구 동기 및 목표

• 임상 현장에서 장시간 초음파 영상 기록의 비효율적인 후행 분석 문제를 해결하기 위해.
• 인간 레이블링에 의존하지 않고 진단적으로 필수적인 정보를 유지하는 완전 자동 영상 요약 방법을 개발하기 위해.
• 초음파 영상 요약을 강화학습 기반의 의사결정 과제로 재정의하여 프레임 선택 최적화를 위해.
• 임상 기준과 일치하는 방식으로 요약 품질을 향상시키기 위해 새로운 진단적 시점 평면 보상 함수를 도입하기 위해.
• 실제로 진단적으로 사용되는 데이터 비율이 매우 낮은 태아 초음파 스크리닝 영상에서 방법을 평가하기 위해.

제안 방법

• 입력 영상 프레임에서 깊이 있는 시각적 특징을 추출하기 위해 CNN 기반 인코더를 사용하고, 이후 시간적 의존성을 모델링하기 위해 이방향 LSTM를 적용한다.
• 강화학습 에이전트는 복합 보상 함수에 기반해 프레임 선택 행동(포함 또는 제외)을 예측함으로써 요약에 사용할 关键 프레임을 선정한다.
• 보상 함수는 세 가지 구성 요소를 조합한다: 대표성($\mathcal{R}_{\text{rep}}$), 다양성($\mathcal{R}_{\text{div}}$), 진단적 시점 평면 가능성($\mathcal{R}_{\text{det}}$).
• 정책 기반 강화학습 방법을 사용하여 프레임 시퀀스에 대한 누적 보상의 기대값을 최대화하는 목표로 모델을 훈련한다.
• 지도 및 비지도 학습 모두를 지원하여 임상 애너테이션 없이도 도입이 가능하도록 한다.
• 진단적 시점 평면 보상은 사전 학습된 표준 평면 탐지 네트워크에서 유도되며, 프레임 선택이 임상적으로 관련 있는 시점과 일치하도록 한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 프레임워크가 진단적으로 중요한 콘텐츠를 유지하면서 초음파 영상 요약에 효과적으로 작용할 수 있는가?
• RQ2 표준 대표성 및 다양성 보상과 비교해 진단적 시점 평면 보상 요소를 통합할 경우 요약 성능가 어떻게 향상되는가?
• RQ3 임상 애너테이션 없이도 이 방법이 비지도 설정에서 얼마나 잘 작동할 수 있는가?
• RQ4 요약 길이가 생성된 요약의 품질에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 실제 임상 초음파 데이터에서 기존 영상 요약 기준 방법들을 능가하는가?

주요 결과

• 영상 길이를 원본의 15%로 압축할 때, 지도 설정에서는 F1 스코어 63.23%를 달성하고 비지도 설정에서는 59.58%를 기록한다.
• 진단적 시점 평면 보상($\mathcal{R}_{\text{det}}$)만을 포함시킬 경우, $\mathcal{R}_{\text{rep}}$와 $\mathcal{R}_{\text{div}}$만을 사용한 경우에 비해 비지도 설정의 F1 스코어가 11.45점 향상된다.
• 세 가지 보상 구성 요소를 모두 조합할 경우 최고의 성능을 기록하며, 지도 설정에서는 F1 스코어 63.23%, 비지도 설정에서는 59.58%를 기록한다.
• 요약 길이가 증가함에 따라(15%에서 45%로), 지도 및 비지도 모델 모두에서 F1 스코어가 일관되게 향상되어 확장성 잠재력을 보여준다.
• 정성적 결과 분석에서 기존 최신 기술 수준 방법보다 지표 요약과의 겹침 비율이 더 높게 나타나, 핵심 진단 프레임을 더 잘 유지하고 있음을 확인할 수 있다.
• 제거 분석 결과, $\mathcal{R}_{\text{det}}$가 가장 영향력 있는 구성 요소임을 확인하였으며, 특히 자원이 제한된(비지도) 환경에서 두드러진다.