[論文レビュー] BARNet: Bilinear Attention Network with Adaptive Receptive Fields for Surgical Instrument Segmentation

Zhen-Liang Ni, Gui‐Bin Bian+6 more|arXiv (Cornell University)|Jan 20, 2020

Medical Imaging and Analysis参考文献 17被引用数 5

ひとこと要約

本論文では、内視鏡画像における照明変動およびスケール変動に対処するため、適応的受容 field を備えた双線形アテンションネットワーク BARNet を提案する。双線形プーリングによるグローバルな意味的依存関係のモデル化と、チャネル別アテンションによるマルチスケール特徴の動的選択により、Cata7 で 97.47% の平均 IOU、EndoVis 2017 で 64.30% の平均 IOU を達成し、後続手法を 10% 以上の IOU の向上で上回った。

ABSTRACT

Surgical instrument segmentation is extremely important for computer-assisted surgery. Different from common object segmentation, it is more challenging due to the large illumination and scale variation caused by the special surgical scenes. In this paper, we propose a novel bilinear attention network with adaptive receptive field to solve these two challenges. For the illumination variation, the bilinear attention module can capture second-order statistics to encode global contexts and semantic dependencies between local pixels. With them, semantic features in challenging areas can be inferred from their neighbors and the distinction of various semantics can be boosted. For the scale variation, our adaptive receptive field module aggregates multi-scale features and automatically fuses them with different weights. Specifically, it encodes the semantic relationship between channels to emphasize feature maps with appropriate scales, changing the receptive field of subsequent convolutions. The proposed network achieves the best performance 97.47% mean IOU on Cata7 and comes first place on EndoVis 2017 by 10.10% IOU overtaking second-ranking method.

研究の動機と目的

• 内視鏡手術シーンにおける大きな照明変動の課題に対処し、器具の色およびテクスチャが歪むのを防ぐ。
• カメラの移動や器具の向きの変化による顕著なスケール変動を克服し、形状およびサイズの変化を抑える。
• スペキュラー反射領域および影領域における意味的特徴表現を、グローバルなコンテキストモデリングにより向上させる。
• さまざまな器具サイズに耐性のあるセグメンテーションを実現するため、適応的かつ特徴を融合するメカニズムを開発する。
• 外科用手術器具セグメンテーションのベンチマークデータセットで最先端の性能を達成する。

提案手法

• 双線形アテンションモジュール (BAM) は、双線形プーリングを用いて局所ピクセルとグローバルコンテキスト間の複雑な意味的依存関係を捉える第二階層の特徴統計をモデル化する。
• BAM からのアテンションマップは空間的に適応的であり、各ピクセルがグローバルコンテキストに注目できるようにし、コントラストが低いまたは反射的な領域での特徴表現を向上させる。
• 適応的受容 field (ARF) モジュールは、チャネル別に意味的関係を学習し、後続の畳み込みに適切なスケールの特徴マップを選択する。
• ARF はスケール間の密なスキップ接続を通じてマルチスケール特徴を統合し、広範な器具サイズのカバーを可能にする。
• 学習されたアテンション重みに基づき、最適なスケールの特徴マップが選択され、後続層の有効受容 field が動的に調整される。
• BARNet は BAM と ARF を統合的に統合したエンコーダ・デコーダアーキテクチャとして実装され、エンド・ツー・エンドの学習および推論が可能である。

実験結果

リサーチクエスチョン

• RQ1 照明変動の影響を受ける領域におけるグローバルコンテキストおよび意味的依存関係を効果的にモデル化することで、特徴表現をどのように向上させられるか？
• RQ2 大規模なスケール変動下でのセグメンテーション精度に、適応的マルチスケール特徴統合が与える影響は何か？
• RQ3 双線形アテンションと適応的受容 field の統合は、従来のアテンションおよび固定受容 field と比較して、どのように優れているか？
• RQ4 提案されたモジュールは、極端な照明およびスケール変動を伴う困難なデータセットでもセグメンテーション性能を向上させられるか？
• RQ5 BARNet は、多様な外科用手術器具および内視鏡シーンにどの程度一般化可能か？

主な発見

• Cata7 データセットでは BARNet が 97.47% の平均 IOU を達成し、2 番目の手法より 1.85 パcent point 高かった。
• EndoVis 2017 ベンチマークでは BARNet が 64.30% の平均 IOU を達成し、2 位の手法（TernausNet）より 10.10% の向上を記録した。
• 双線形アテンションモジュールは、スペキュラー反射に強く影響を受ける器具、例えば一次切開ナイフ (I1)、レンズフック (I6)、バイポーラフォースプス (I10) のセグメンテーション精度を顕著に向上させた。
• BARNet は EndoVis 2017 で 1 位を獲得し、10 個のビデオシーケンスのうち 7 個で最高の結果を出した。
• 可視化結果から、強い影やスペキュラー反射領域でも BARNet が正確に器具をセグメンテーションできていることが確認された。
• アブレーションスタディにより、双線形アテンションおよび適応的受容 field モジュールがそれぞれ独立して性能向上に寄与しており、併用することで最適な結果が得られたことが検証された。