[논문 리뷰] M2CAI Workflow Challenge: Convolutional Neural Networks with Time Smoothing and Hidden Markov Model for Video Frames Classification

Rémi Cadène, Thomas Robert외 2명|arXiv (Cornell University)|2016. 10. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 7인용 수 20

한 줄 요약

이 논문은 미세 침습 성낭절제술 수술에서 온라인 영상 프레임 분류를 위한 이단계적 접근법을 제안한다. 이는 프레임 수준의 분류를 위해 미세 조정된 ResNet-200과 평균 풀링을 통한 시간적 스무딩, 그리고 시퀀스의 일관성을 확보하기 위한 은닉 마르코프 모델(HMM)을 조합한 것이다. 이 방법은 M2CAI 워크플로우 챌린지 테스트 세트에서 Jaccard 지수 71.9%를 기록하여 상위 3개 솔루션 중 하나로 랭크되었다.

ABSTRACT

Our approach is among the three best to tackle the M2CAI Workflow challenge. The latter consists in recognizing the operation phase for each frames of endoscopic videos. In this technical report, we compare several classification models and temporal smoothing methods. Our submitted solution is a fine tuned Residual Network-200 on 80% of the training set with temporal smoothing using simple temporal averaging of the predictions and a Hidden Markov Model modeling the sequence.

연구 동기 및 목표

• 미세 침습 성낭절제술의 8개 정의된 단계로 실시간, 온라인 영상 프레임 분류 문제를 해결하기 위해.
• 수술 워크플로우의 순차적 성격을 고려해 시간적 맥락을 통합함으로써 분류의 강건성을 향상시키기 위해.
• 수술 영상 이해를 위한 다양한 딥러닝 모델과 시간적 스무딩 기법을 평가하고 비교하기 위해.
• 다양한 수술 스타일과 영상 조건을 가진 다양한 내 endoscopic 영상 시퀀스에 잘 일반화되는 방법을 개발하기 위해.

제안 방법

• 22개 영상(학습 데이터의 80%)에 대해 온라인 데이터 증강(랜덤 리사이징, 크롭, 채널별 정규화 포함)을 적용한 미세 조정된 ResNet-200 모델을 훈련한다.
• 원본 25 fps 영상에서 매 25프레임마다 샘플링하여 1 fps로 프레임 수준의 예측을 추출한다.
• 예측의 안정성과 노이즈 감소를 위해 15프레임(15초) 평균을 사용한 시간적 스무딩을 적용한다.
• 스무딩된 예측에 기반해 상태 전이를 모델링하고 시퀀스의 일관성을 향상시키기 위해 은닉 마르코프 모델(HMM)을 훈련한다.
• 온라인 추론을 위해 과거 예측 시퀀스에 대해 Viterbi 알고리즘을 점진적으로 적용하여 실시간 동작을 유지한다.
• 최종 예측은 각 레이블을 25번 반복하여 25 fps로 업샘플링하고 원본 영상 길이와 정렬한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 ResNet-200의 미세 조정 방식이 수술 영상 프레임 분류에서 특징 추출 또는 랜덤 초기화에서부터 훈련하는 것과 비교해 어떻게 성능을 냈는가?
• RQ2 평균화를 통한 시간적 스무딩과 HMM이 온라인 환경에서 분류 성능에 어떤 영향을 미치는가?
• RQ3 딥러닝 예측에 기반해 훈련된 HMM이 수술 워크플로우 단계의 시간적 동역학을 효과적으로 모델링할 수 있는가?
• RQ4 다양한 데이터 증강 전략은 수술 영상 데이터에 대한 모델 일반화에 어떤 영향을 미치는가?
• RQ5 표준적인 미세 조정과 비교해 특수 레이어인 WELDON을 사용할 경우 이 데이터셋에서 성능 향상이 이루어지는가?

주요 결과

• 미세 조정된 ResNet-200 모델은 테스트된 모든 분류 모델 중에서 가장 높은 검증 정확도(79.24%)를 기록했다.
• HMM 기반의 시간적 스무딩은 온라인 모드에서 검증 세트에서 Jaccard 점수 81.60%를 달성하여 성능 향상을 크게 이룩했다.
• 오프라인 HMM 추론은 Jaccard 점수 87.59%를 기록하여 시퀀스 모델링이 시간적 일관성 향상에 잠재력을 지닌다는 것을 입증했다.
• 미세 조정된 ResNet-200와 HMM 기반 스무딩의 조합은 테스트 세트에서 Jaccard 지수 71.9%를 기록하여 상위 3개 솔루션 중 하나로 랭크되었다.
• 15프레임 평균 예측은 정확도를 85.97%까지 끌어올렸지만, HMM 접근 방식에 비해 성능이 열등했으며, 특히 'GallbladderRetraction'과 같은 도전적인 클래스에서 두드러지게 떨어졌다.
• HMM 모델은 'TrocarPlacement'와 같이 드문 또는 모호한 단계에서 높은 성능(온라인 모드에서 정확도 99.19%)을 보여주어 시간적 의존성에 효과적으로 대응하는 것으로 나타났다.