[논문 리뷰] PEg TRAnsfer Workflow recognition challenge report: Does multi-modal data improve recognition?

Arnaud Huaulmé, Kanako Harada외 17명|arXiv (Cornell University)|2022. 02. 11.

Cardiac, Anesthesia and Surgical Outcomes인용 수 4

한 줄 요약

이 논문은 제어된 페그 이송 작업에서 영상 및 운동학적 데이터와 같은 다중 모odal 데이터가 외과 수술 워크플로우 인식에 미치는 영향을 평가한다. 3가지 정도의 레이어로 분류된 150개의 시퀀스로 구성된 벤치마크 데이터셋을 사용하여, 영상과 운동학적 데이터를 융합한 접근 방식이 단일 모달 접근 방식에 비해 인식 정확도를 크게 향상시킴을 입증한다 (AD-정확도 최대 93%). 다만 계산 비용이 상당히 증가하는 경향이 있다.

ABSTRACT

This paper presents the design and results of the "PEg TRAnsfert Workflow recognition" (PETRAW) challenge whose objective was to develop surgical workflow recognition methods based on one or several modalities, among video, kinematic, and segmentation data, in order to study their added value. The PETRAW challenge provided a data set of 150 peg transfer sequences performed on a virtual simulator. This data set was composed of videos, kinematics, semantic segmentation, and workflow annotations which described the sequences at three different granularity levels: phase, step, and activity. Five tasks were proposed to the participants: three of them were related to the recognition of all granularities with one of the available modalities, while the others addressed the recognition with a combination of modalities. Average application-dependent balanced accuracy (AD-Accuracy) was used as evaluation metric to take unbalanced classes into account and because it is more clinically relevant than a frame-by-frame score. Seven teams participated in at least one task and four of them in all tasks. Best results are obtained with the use of the video and the kinematics data with an AD-Accuracy between 93% and 90% for the four teams who participated in all tasks. The improvement between video/kinematic-based methods and the uni-modality ones was significant for all of the teams. However, the difference in testing execution time between the video/kinematic-based and the kinematic-based methods has to be taken into consideration. Is it relevant to spend 20 to 200 times more computing time for less than 3% of improvement? The PETRAW data set is publicly available at www.synapse.org/PETRAW to encourage further research in surgical workflow recognition.

연구 동기 및 목표

• 다양한 데이터 모달을 융합하는 것이 단일 모달 접근 방식에 비해 외과 수술 워크플로우 인식 정확도를 향상시키는지 조사하기.
• 영상, 운동학적 데이터, 의미 분할 등 다양한 모달을 포함한 표준화된 벤치마크 데이터셋을 개발하여 외과 수술 워크플로우 인식 연구를 위한 기반 마련.
• 단계, 단계, 활동의 세 가지 정도의 레이어에서 인식 성능 평가.
• 다중 모달 입력을 사용할 경우 정확도 향상과 계산 비용 증가 사이의 트레이드오프 평가.
• 미래의 외과 과정 모델링 연구를 위해 PETRAW 데이터셋을 공개하여 개방형 과학 정책 이행.

제안 방법

• 가상 외과 시뮬레이터에서 수집한 150개의 페그 이송 시퀀스를 기반으로 PEg TRAnsfer Workflow (PETRAW) 챌린지를 조직.
• 동기화된 영상, 운동학적 궤적, 의미 분할 마스크, 다중 수준의 레이블(단계, 단계, 활동) 포함.
• 다섯 가지 과제 정의: 세 가지 단일 모달(영상 전용, 운동학적 데이터 전용, 의미 분할 전용)과 두 가지 다중 모달(영상 + 운동학적 데이터, 영상 + 분할 마스크).
• 참가자들은 각 모달에 맞춰 훈련된 딥러닝 모델(주로 CNN, RNN, Transformer)을 활용해 워크플로우 단계를 인식.
• 평가 기준으로는 클래스 불균형을 고려하고 임상적으로 더 관련성이 높은 프레임 수준의 F1 스코어보다는 적용 기반 균형 정확도(AD-정확도) 사용.
• 모든 시퀀스에 걸쳐 결과를 집계하고 각 과제별로 평가하여 단일 모달 대비 다중 모달 성능 및 계산 효율성 비교.

실험 결과

연구 질문

• RQ1 영상과 운동학적 데이터를 융합하면 단일 모달 사용 대비 외과 수술 워크플로우 인식 정확도가 유의미하게 향상되는가?
• RQ2 의미 분할 데이터의 포함 여부가 다양한 레이어의 정밀도 수준에서 인식 성능에 어떤 영향을 미치는가?
• RQ3 다중 모달 입력을 사용할 경우 정확도 향상과 계산 비용 증가 사이의 트레이드오프는 어떠한가?
• RQ4 다중 모달 모델은 다양한 외과 작업과 다양한 수준의 절차 추상화에 일반화 가능한가?
• RQ5 다양한 딥러닝 아키텍처는 단일 모달 및 다중 모달 환경에서 외과 수술 워크플로우 인식에 대해 어떤 성능을 보이는가?

주요 결과

• 가장 높은 성능을 보인 모델은 영상과 운동학적 데이터를 융합하여, 참가한 네 팀 모두가 모든 과제를 수행한 결과 AD-정확도가 93%에서 90% 사이로 기록.
• 다중 모달 방법은 항상 단일 모달 접근 방식을 뛰어넘었으며, 영상 + 운동학적 데이터 조합이 영상 전용 또는 운동학적 데이터 전용 기반 모델에 비해 가장 뚜렷한 향상을 보였다.
• 영상과 운동학적 데이터를 사용할 경우, 운동학적 데이터 전용 방법 대비 계산 비용이 2,000%에서 20,000% 증가했지만, 일부 경우 정확도 향상은 3%에 불과.
• 의미 분할 데이터만을 사용할 경우 영상 또는 운동학적 데이터에 비해 경쟁력 있는 성능을 내지 못해 이 설정에서 별도의 유용성은 제한됨.
• PETRAW 데이터셋은 www.synapse.org/PETRAW 에서 공개되어 향후 수술 워크플로우 인식 연구의 벤치마크 및 재현 가능성을 보장.
• 본 연구는 다중 모달 융합이 특히 단계 및 활동 수준과 같이 더 세밀한 레이어에서 인식의 강건성과 정확도를 향상시킨다는 점을 확인했지만, 효율성은 여전히 핵심 제약 요소로 남아 있음.