[論文レビュー] 2017 Robotic Instrument Segmentation Challenge

Max Allan, Alexey A. Shvets+17 more|arXiv (Cornell University)|Feb 18, 2019

Anatomy and Medical Technology参考文献 29被引用数 56

ひとこと要約

MICCAI 2017 チャレンジで、10 データセットにわたる da Vinci ロボット機器の手動ラベル付きマルチタスクセグメンテーションを提示し、二値、部位別、タイプ別のセグメンテーション課題と複数の参加手法を含む。

ABSTRACT

In mainstream computer vision and machine learning, public datasets such as ImageNet, COCO and KITTI have helped drive enormous improvements by enabling researchers to understand the strengths and limitations of different algorithms via performance comparison. However, this type of approach has had limited translation to problems in robotic assisted surgery as this field has never established the same level of common datasets and benchmarking methods. In 2015 a sub-challenge was introduced at the EndoVis workshop where a set of robotic images were provided with automatically generated annotations from robot forward kinematics. However, there were issues with this dataset due to the limited background variation, lack of complex motion and inaccuracies in the annotation. In this work we present the results of the 2017 challenge on robotic instrument segmentation which involved 10 teams participating in binary, parts and type based segmentation of articulated da Vinci robotic instruments.

研究の動機と目的

• 機器のセグメンテーションを通じて、ロボット支援小開腹手術におけるシーン理解を促進する。
• 公正な手法比較を可能にするために、手動ラベル付きの高品質で多様なデータセットを提供する。
• 複数の機器と手技にわたる二値、部位ベース、タイプベースのセグメンテーションを評価する。
• ガイダンスやARオーバーレイに適したリアルタイムまたはほぼリアルタイムのセグメンテーション手法の開発を促進する。

提案手法

• 三つのサブタスク: 器具と背景の二値セグメンテーション、部位セグメンテーション（シャフト、リスト、ジョー）、およびタイプベースのセグメンテーション（器具の種類）。
• 10 件の豚腹部手技から収集されたデータセットで、各シーケンスは 300 フレーム、最初の 225 フレームを訓練、後半の 75 フレームをテスト。左眼ステレオ画像を提供。
• Intuitive Surgical セグメンテーションチームによって、フレームごとのポリゴンを用いて手動で作成されたグラウンドトゥルースラベル。
• 11 チームが参加し、FCN/UNet系、TernausNet、SegNet、手作りベースラインなど、様々な CNN ベースのアプローチを提供。
• フレームごとに現れるクラス間の平均 IoU を基に評価し、データセット加重の総合スコアを算出。
• いくつかのチームは事前学習済みエンコーダ（VGG、ResNet 系）やマルチスケール／カスケード構造を用いて精度を向上させた。

実験結果

リサーチクエスチョン

• RQ1 最先端のセグメンテーションアーキテクチャは、ロボット手術画像における二値の器具セグメンテーションでどれだけ良い性能を発揮できるか？
• RQ2 手動ラベル付きで多様な外科データから、マルチタスク（二値・部位・タイプ）セグメンテーションを効果的に学習できるか？
• RQ3 データの多様性（訓練シーケンス8、テストシーケンス10）が、データセット間の一般化に与える影響は？
• RQ4 タスクおよびデータセット間の平均 IoU の観点で、異なるネットワークアーキテクチャと訓練戦略はどのように比較されるか？

主な発見

データセット1	データセット2	データセット3	データセット4	データセット5	データセット6	データセット7	データセット8	データセット9	データセット10	Mean IoU
NCT 0.784	NCT 0.788	NCT 0.926	NCT 0.934	NCT 0.701	NCT 0.876	NCT 0.846	NCT 0.881	NCT 0.789	NCT 0.899	0.843
UB 0.807	UB 0.806	UB 0.914	UB 0.925	UB 0.740	UB 0.890	UB 0.930	UB 0.904	UB 0.855	UB 0.917	0.875
BIT 0.275	BIT 0.282	BIT 0.455	BIT 0.310	BIT 0.220	BIT 0.338	BIT 0.404	BIT 0.366	BIT 0.236	BIT 0.403	0.326
MIT 0.854	MIT 0.794	MIT 0.949	MIT 0.949	MIT 0.862	MIT 0.922	MIT 0.856	MIT 0.937	MIT 0.865	MIT 0.905	0.888
SIAT 0.625	SIAT 0.669	SIAT 0.897	SIAT 0.907	SIAT 0.604	SIAT 0.843	SIAT 0.832	SIAT 0.513	SIAT 0.839	SIAT 0.899	0.803
UCL 0.631	UCL 0.645	UCL 0.895	UCL 0.883	UCL 0.719	UCL 0.852	UCL 0.710	UCL 0.517	UCL 0.808	UCL 0.869	0.785
TUM 0.760	TUM 0.799	TUM 0.916	TUM 0.915	TUM 0.810	TUM 0.873	TUM 0.844	TUM 0.895	TUM 0.877	TUM 0.909	0.873
UA 0.408	UA 0.524	UA 0.743	UA 0.782	UA 0.528	UA 0.292	UA 0.593	UA 0.562	UA 0.626	UA 0.715	0.612
UW 0.413	UW 0.463	UW 0.703	UW 0.751	UW 0.375	UW 0.667	UW 0.362	UW 0.797	UW 0.539	UW 0.689	0.681
Mean IoU 0.589	0.606	0.788	0.803	0.578	0.717	0.670	0.688	0.681	0.781

• MIT は 10 データセット全体で二値セグメンテーションの平均 mean IoU が最も高く、0.854 を記録。
• 全データセットとチームに対する二値セグメンテーションの平均 IoU は、MIT 0.888、UB 0.875 などで、他は変動（表 I を参照）。
• 部位セグメンテーションでは MIT が 10 データセット中 7 件で最高の mean IoU を達成し、MIT の総合 mean IoU は 0.737（表 II）。
• タイプベースのセグメンテーションでは複数チームの参加が低く、全体の mean IoU も変動（表 VI）。
• 全体として、事前学習済みエンコーダとマルチスケールまたはカスケード設計を組み合わせた深層学習アーキテクチャが最も良い成績を示し、単純なベースラインや非ML手法は一部のフレームで競争力があった（例: UW ベースライン）。
• このチャレンジは、ロボット機器セグメンテーションの進展を促すために、高品質で手動ラベル付けされたデータと多様な背景変動の必要性を強調した。