[論文レビュー] Single- and Multi-Task Architectures for Tool Presence Detection Challenge at M2CAI 2016

Andru Putra Twinanda, Didier Mutter+3 more|arXiv (Cornell University)|Oct 27, 2016

IoT and Edge/Fog Computing参考文献 2被引用数 23

ひとこと要約

本稿は、腹腔鏡胆嚢切除術動画における手術用器具の存在検出を目的とした、単一タスク（ToolNet）およびマルチタスク（EndoNet）の深層畳み込みニューラルネットワークアーキテクチャを評価する。ImageNetからの転移学習と限定的データセットにおけるファインチューニングを用いて、モデル性能が主にトレーニングデータサイズに依存することを発見した。特に、スコアのmAPはデータセットが大きくなるにつれて52.5から74.2に向上し、特にハサミや洗浄器のようなレアな器具の検出において、データ不足が主なボトルネックであることが示された。

ABSTRACT

The tool presence detection challenge at M2CAI 2016 consists of identifying the presence/absence of seven surgical tools in the images of cholecystectomy videos. Here, we propose to use deep architectures that are based on our previous work where we presented several architectures to perform multiple recognition tasks on laparoscopic videos. In this technical report, we present the tool presence detection results using two architectures: (1) a single-task architecture designed to perform solely the tool presence detection task and (2) a multi-task architecture designed to perform jointly phase recognition and tool presence detection. The results show that the multi-task network only slightly improves the tool presence detection results. In constrast, a significant improvement is obtained when there are more data available to train the networks. This significant improvement can be regarded as a call for action for other institutions to start working toward publishing more datasets into the community, so that better models could be generated to perform the task.

研究の動機と目的

• 深層学習アーキテクチャを用いてM2CAI 2016における器具存在検出チャレンジに取り組む。
• 腹腔鏡動画における器具存在検出のための単一タスク（ToolNet）とマルチタスク（EndoNet）CNNの性能を比較する。
• ターゲットデータセットにフェーズラベルが存在しない場合、手術フェーズ認識と共同で学習させることで器具検出性能が向上するかを調査する。
• トレーニングデータサイズが、とくに頻度の低い器具のモデル一般化性能に与える影響を評価する。
• 限定的データセットにおける転移学習とファインチューニングの有効性を、手術用器具認識の文脈で検討する。

提案手法

• 両方のアーキテクチャのバックボーンとして、事前学習済みImageNetのAlexNetをファインチューニングした。
• ToolNetを単一タスクネットワークとして、7クラス分類ヘッド（fc_tool）を用いて器具存在検出に特化して訓練した。
• EndoNetをマルチタスクネットワークとして、手術フェーズ認識と器具存在検出の両方を同時に最適化するように訓練した。
• Cholec80データセット（フェーズおよび器具ラベルを含む）を用いて、m2cai16-toolデータセットにフェーズラベルがないにもかかわらず、EndoNetとToolNetを事前学習した。
• 初期学習率を10⁻²に設定し、ランダムに初期化された最終層（fc_toolおよびfc_phase）に対して転移学習を実施。20,000イタレーションごとに学習率を10分の1に減少させた。
• モデルの評価には、各器具ごとに計算された平均平均精度（mAP）を全器具平均化し、出力のログティットに信頼度しきい値を適用した。

実験結果

リサーチクエスチョン

• RQ1 手術フェーズ認識を用いたマルチタスク学習は、単一タスク学習と比較して器具存在検出性能を向上させるか？
• RQ2 トレーニングデータセットのサイズが器具存在検出モデルの性能に与える影響は？
• RQ3 ドメインシフトが存在するにもかかわらず、より大きなマルチアノテーションデータセット（Cholec80）からの転移学習が、より小さな単一アノテーションデータセット（m2cai16-tool）での性能向上に寄与するか？
• RQ4 特定の器具（例：ハサミ、洗浄器）が顕著に低い検出精度を示す理由は何か？ また、モデルアーキテクチャやデータ拡張によって是正可能か？
• RQ5 RNNによる時間的コンテキストの統合は、腹腔鏡動画におけるフレームごとの器具存在検出性能をどの程度向上させるか？

主な発見

• m2cai16-toolデータセットで訓練された単一タスクのToolNetは、mAPが52.5にとどまり、限られたトレーニングデータによる一般化性能の低さを示した。
• より大きなCholec80データセットでファインチューニングされたToolNetモデルは、mAPが73.9に顕著に向上し、データ量の影響の大きさを示した。
• Cholec80で訓練されたマルチタスクのEndoNetモデルは、最高のmAP 74.2を達成し、単一タスクのToolNet-Cholec80モデルと比較してわずかな向上にとどまった。
• m2cai16-toolデータセットにおける希少器具（ハサミ：17.0 mAP、洗浄器：12.5 mAP、クリッパー：43.6 mAP）の性能格差は、主にトレーニングサンプル不足と、頻度の高い器具（例：グリッパー）と視覚的に類似していることが原因であった。
• 本研究では、マルチタスク学習よりもデータの可用性が、とくに低頻度器具の検出性能向上においてより重要な要因であると結論づけた。
• 著者らは、今後の研究としてRNNを用いた時系列モデリングの検討を提案し、動画フレーム間の逐次的コンテキストを活用することで検出性能の向上が図れる可能性があると示唆した。