[論文レビュー] Autofocus Layer for Semantic Segmentation

Yao Qin, Konstantinos Kamnitsas+5 more|arXiv (Cornell University)|May 22, 2018

Medical Image Segmentation Techniques参考文献 13被引用数 17

ひとこと要約

本論文では、学習可能な注目メカニズムを用いて、畳み込みニューラルネットワーク（CNN）の有効受容 field を段階的に調整することで、意味セグメンテーションに適応する新しいモジュール、オートフォーカス畳み込み層を導入する。この手法は、パラメータの増加を最小限に抑えつつ、マルチスケール特徴抽出を向上させ、骨盤CTおよび脳MRIセグメンテーションタスクで最先端の性能を達成し、空間的各位置で最も関連性の高いコンテキストに動的に焦点を当てる。

ABSTRACT

We propose the autofocus convolutional layer for semantic segmentation with the objective of enhancing the capabilities of neural networks for multi-scale processing. Autofocus layers adaptively change the size of the effective receptive field based on the processed context to generate more powerful features. This is achieved by parallelising multiple convolutional layers with different dilation rates, combined by an attention mechanism that learns to focus on the optimal scales driven by context. By sharing the weights of the parallel convolutions we make the network scale-invariant, with only a modest increase in the number of parameters. The proposed autofocus layer can be easily integrated into existing networks to improve a model's representational power. We evaluate our models on the challenging tasks of multi-organ segmentation in pelvic CT and brain tumor segmentation in MRI and achieve very promising performance.

研究の動機と目的

• 医用画像の意味セグメンテーションにおける効果的なマルチスケールコンテキスト学習の課題に対処すること。
• モデルの複雑さを著しく増加させることなく、深層ネットワークにおける特徴表現を向上させること。
• 注目マップを通じてスケール選択プロセスを明示することで、モデルの解釈性を向上させること。
• 最小限のアーキテクチャ的変更で、既存のアーキテクチャへの容易な統合を可能とすること。
• 軽量でスケーラブルなモジュールを用いて、挑戦的な医用画像セグメンテーションベンチマークで競争力のある性能を達成すること。

提案手法

• オートフォーカス層は、異なる拡張率を有する並列な拡張畳み込みを用いてマルチスケールコンテキストを捉える。
• 注目メカニズムが各スケールの動的重みを計算し、ネットワークが各空間的位置で最も関連性の高いコンテキストに焦点を当てるのを可能にする。
• 拡張畳み込み間で共有された重みにより、スケール不変性が確保され、パラメータ数が削減される。
• 出力は、入力コンテキストに基づいて学習された重みによる、すべてのスケールからの特徴の重み付き和である。
• このモジュールはプラグイン層として設計されており、既存のネットワークにおける標準畳み込みと簡単に置き換え可能である。
• この手法は人間の視覚的注目にインspiredされており、焦点を当てる（フェーロアル）視覚と広範囲の（ペリフェラル）視覚を模倣する。

実験結果

リサーチクエスチョン

• RQ1 学習可能で適応的なメカニズムは、意味セグメンテーションネットワークにおけるマルチスケール特徴抽出を改善できるか？
• RQ2 注目による動的スケール選択は、固定または平均化されたマルチスケール統合よりも優れた性能をもたらすか？
• RQ3 提案されたモジュールは、最小限のアーキテクチャ的変更とパラメータの増加で、既存のアーキテクチャに統合可能か？
• RQ4 オートフォーカス層は、生物学的多様性が著しい多様な医用画像タスクでどのように性能を発揮するか？
• RQ5 注目メカニズムは、セグメンテーションタスクにおけるモデルの解釈性をどの程度向上させるか？

主な発見

• オートフォーカス層は、骨盤CTおよび脳腫瘍セグメンテーションタスクの両方で、標準的なASPPモジュールを上回り、ほとんどの構造で高いDiceスコアを達成した。
• Afn-6は、BRATS’15テストセットで全腫瘍のDiceスコア84％を達成し、半自動手法を上回り、最上位のアンサンブルベースのモデルと同等の性能を示した。
• Afn-6モデルはコア領域のDiceスコア69％を達成し、ベースラインおよび大多数のアブレーションバージョンを上回り、マルチレイヤー適応の利点を示した。
• パrameterの増加はわずかであり、Afn-1モデルでは349,904の学習可能なパラメータを有し、ベースラインの315,725に比べてわずかに増加した。
• アブレーションスタディの結果、より多くのレイヤーをオートフォーカスに変換するほど性能が向上し、両データセットでAfn-6が最良の結果を達成した。
• 注目マップは、ネットワークが文脈に応じて「ズームイン」または「ズームアウト」することを示し、モデルの解釈性が向上した。