[論文レビュー] A Two-Stream Mutual Attention Network for Semi-supervised Biomedical Segmentation with Noisy Labels

Shaobo Min, Xuejin Chen+3 more|arXiv (Cornell University)|Jul 31, 2018

Multimodal Machine Learning Applications参考文献 26被引用数 7

ひとこと要約

本論文は、二重ストリーム相互注意ネットワーク（TSMAN）を提案し、ノイズの多いラベルに対する頑健性を向上させるために、二重ストリーム特徴相互作用とマルチレベル注意メカニズムを用いて誤った勾配を抑制することで、半教師ありバイオメディカル画像セグメンテーションを実現する。この手法は、HVSMR 2016 および BRATS 2015 ベンチマークで最先端の性能を達成し、完全に教師ありのモデルでさえ、部分的なアノテーションのみを用いた場合にそれを上回る。

ABSTRACT

\begin{abstract} Learning-based methods suffer from a deficiency of clean annotations, especially in biomedical segmentation. Although many semi-supervised methods have been proposed to provide extra training data, automatically generated labels are usually too noisy to retrain models effectively. In this paper, we propose a Two-Stream Mutual Attention Network (TSMAN) that weakens the influence of back-propagated gradients caused by incorrect labels, thereby rendering the network robust to unclean data. The proposed TSMAN consists of two sub-networks that are connected by three types of attention models in different layers. The target of each attention model is to indicate potentially incorrect gradients in a certain layer for both sub-networks by analyzing their inferred features using the same input. In order to achieve this purpose, the attention models are designed based on the propagation analysis of noisy gradients at different layers. This allows the attention models to effectively discover incorrect labels and weaken their influence during the parameter updating process. By exchanging multi-level features within the two-stream architecture, the effects of noisy labels in each sub-network are reduced by decreasing the updating gradients. Furthermore, a hierarchical distillation is developed to provide more reliable pseudo labels for unlabelded data, which further boosts the performance of our retrained TSMAN. The experiments using both the HVSMR 2016 and BRATS 2015 benchmarks demonstrate that our semi-supervised learning framework surpasses the state-of-the-art fully-supervised results.

研究の動機と目的

• エキスパートによるアノテーションが限られ、誤りが生じやすいバイオメディカル画像セグメンテーションにおけるノイズラベルの課題に対処すること。
• ノイズのある偽ラベルからの誤った勾配の影響を軽減することで、半教師あり学習中のモデルの頑健性を向上させること。
• 標準的なモデルまたはデータの distillation よりも高品質な偽ラベルを生成する階層的 distillation 法を開発すること。
• クロスネットワークでの誤り検出と勾配抑制を可能にするマルチレベル注意を備えた二重ストリームアーキテクチャを設計すること。
• 完全に教師ありのベースラインを上回る性能を示す半教師ありフレームワークが、クリーンラベルの一部しか利用できない状況でも有効であることを実証すること。

提案手法

• TSMANフレームワークは、ネットワークの異なる深さに位置する3種類の注意メカニズムを介して接続された2つのサブネットワークを用い、ノイズの多い勾配を検出し抑制する。
• 各注意モジュールは、両ストリームの特徴を比較し、層を跨るノイズラベルの伝搬を分析することで、誤った勾配の可能性がある箇所を特定する。
• 注意モジュールは、誤った予測に関連する勾配を弱めるように設計されており、ノイズラベルによるモデル劣化のリスクを低減する。
• データとモデルの distillation を統合した階層的 distillation 戦略を用いて、未ラベルデータのより信頼性の高い偽ラベルを生成する。
• フレームワークは自己学習を採用：階層的 distillation を用いて偽ラベルを生成し、その後、ラベル付きデータと偽ラベル付きデータを混合して TSMAN を再訓練する。
• 本手法は、3D MRI ベンチマーク2つ（HVSMR 2016 および BRATS 2015）を用いて評価され、Dice、ADB、HDD、および平均 IOU によって性能が測定された。

実験結果

リサーチクエスチョン

• RQ1 二重ストリーム相互注意メカニズムは、半教師ありバイオメディカル画像セグメンテーションにおいて、ノイズラベルに起因する勾配を効果的に検出し抑制できるか？
• RQ2 データとモデルの distillation を統合した階層的 distillation は、単独での手法よりも信頼性の高い偽ラベルを生成できるか？
• RQ3 ノイズのある偽ラベルを用いた半教師あり学習フレームワークは、クリーンラベルの一部しか利用できない状況で、完全に教師ありのモデルを上回ることができるか？
• RQ4 本手法は、HVSMR 2016 や BRATS 2015 のような実世界のバイオメディカルデータセット（不完全なラベルを含む）において、どのように性能を発揮するか？
• RQ5 注意による勾配抑制は、誤りが最も深刻な境界領域において、セグメンテーション性能をどの程度向上させるか？

主な発見

• HVSMR 2016 データセットでは、TSMAN は心筋に対して 0.820、血腫に対して 0.926 の Dice スコアを達成し、全体のスコアは -0.024 であった。これは、完全に教師ありのモデルを含むすべてのベースラインを上回った。
• 境界領域評価では、最良のベースラインと比較して、ADB で 0.134 の顕著な向上、HDD で 8.07 の向上を達成し、ノイズラベルに対する頑健性が向上したことを示した。
• BRATS 2015 データセットでは、TSMAN は平均 Dice スコア 0.792 を達成し、同じ訓練プロトコル下で完全に教師ありの U-Net（0.632）と MME（0.782）を上回った。
• ξ = 0.9 の場合、TSMAN は BRATS 2015 で完全に教師ありのベースライン（Tseng et al., 2017）を上回り、ノイズのあるラベルを用いた半教師あり学習が完全に教師ありの性能を上回ることを実証した。
• 階層的 distillation 法は、単独でのデータまたはモデル distillation よりも高品質な偽ラベルを生成し、モデルの汎化性能と頑健性の向上に寄与した。
• アブレーションスタディにより、マルチレベルの注意と勾配抑制が、特に難易度の高いセグメンテーション領域においてノイズラベルの影響を顕著に低減していることが確認された。