[논문 리뷰] Motion-Based Weak Supervision for Video Parsing with Application to Colonoscopy

Ori Kelner, Or Weinstein외 2명|arXiv (Cornell University)|2022. 10. 16.

Colorectal Cancer Screening and Detection인용 수 6

한 줄 요약

이 논문은 대장내시경 영상의 프레임 단위 분할을 위한 이단계, 운동 기반 약한 감독 프레임워크를 제안한다. 광학 흐름 유도 운동 신호를 사용하여 학습을 위한 노이즈 있는 레이블을 생성하고, 이를 통해 프레임 외관 분류기와 시간 컨volution 네트워크를 훈련시킨다. 이 방법은 운동 신호 기반 기준선 대비 단계 전환 탐지에서 평균 절대 오차(MAE)를 47% 감소시켜(1.14분), 인간의 레이블 없이도 정확한 단계 분할을 가능하게 한다.

ABSTRACT

We propose a two-stage unsupervised approach for parsing videos into phases. We use motion cues to divide the video into coarse segments. Noisy segment labels are then used to weakly supervise an appearance-based classifier. We show the effectiveness of the method for phase detection in colonoscopy videos.

연구 동기 및 목표

• 의료 영상 분석, 특히 대장내시경 영상에서의 프레임 단위 레이블링의 높은 비용과 어려움을 해결하기 위해.
• 운동 신호를 대체 감독 신호로 활용하여 인간 레이블이 없는 단계 경계 탐지 방법을 개발하기 위해.
• 운동 기반 레이블에 기반해 훈련된 외관 기반 분류기를 통해 대장내시경 영상의 단계 탐지 정확도를 향상시키기 위해.
• 약한 감독 특징에 대해 MS-TCN를 활용한 시간 모델링의 효과를 평가하기 위해.

제안 방법

• 운동 기반 분할은 그린 정리에 기반한 광학 흐름과 수렴 통합을 통해 자가 운동 방향을 추정하고, 전진(내시경 삽입) 및 후진(회수) 운동을 식별한다.
• 시간에 따라 운동 방향을 누적적으로 통합하여 노이즈 있는 단계 레이블을 생성하고, 전역 최댓값이 단계 전환 지점을 나타낸다.
• 운동 분석에 의해 레이블링된 무작위로 샘플링된 프레임에 대해 ResNet50 기반 프레임 분류기를 미세조정하여 단계 식별을 위한 외관 기반 특징을 학습한다.
• 다중 단계 시간 컨볼루션 네트워크(MS-TCN)는 프레임 수준의 예측을 시간적 순서로 통합하고, 약한 감독을 위해 운동 기반 레이블을 사용한다.
• 전이 검출기는 예측 확률에 대해 분할 점수 함수를 최대화함으로써 최적의 단계 경계를 계산한다.
• 분류기에서 유도된 외관 특징과 시간 모델링을 결합하여 일반화 능력을 향상시키고 오차를 감소시킨다.

실험 결과

연구 질문

• RQ1 운동 신호만으로도 대장내시경 영상에서 외관 기반 영상 분할 모델을 훈련시키는 데에 충분한 감독을 제공할 수 있는가?
• RQ2 운동 기반 레이블로부터의 약한 감독이 단계 전환 탐지에서 전반적인 감독과 비교해 어떻게 성능을 내는가?
• RQ3 시각적 특징과 함께 운동 신호를 통합할 경우, 레이블 노이즈로 인해 모델 성능이 저하되는가?
• RQ4 노이즈 있는 운동 기반 레이블에 기반해 훈련된 MS-TCN를 사용할 때 시간 모델링이 단계 경계 정확도 향상에 기여하는가?

주요 결과

• 제안된 방법은 운동 기반 기준선 대비 단계 전환 탐지에서 평균 절대 오차(MAE)를 47% 감소시켜(2.15분에서 1.14분으로), 성능 향상을 입증했다.
• 중앙절대오차(MedAE)는 50% 이상 감소하여 0.99분에서 0.49분으로 향상되어 더 높은 강건성을 보였다.
• 약한 훈련된 분류기의 특징에 MS-TCN를 적용한 경우가 모든 다른 설정(운동 방향 또는 병합 특징 사용)보다 뛰어난 성능을 보였다.
• MS-TCN에 운동 방향을 입력으로 추가하면 성능이 저하되었으며(MAE 1.61분), 이는 노이즈 있는 운동 레이블이 시각적 특징과 융합될 경우 일반화 능력에 악영향을 줄 수 있음을 시사한다.
• 모델은 인간 레이블이 전혀 없는 조건에서도 강력한 성능을 기록하였으며, 오직 운동 기반 약한 감독에 의존하였다.