[論文レビュー] Quantization of Fully Convolutional Networks for Accurate Biomedical Image Segmentation

Xiaowei Xu, Qing Lu+5 more|arXiv (Cornell University)|Mar 13, 2018

AI in cancer detection参考文献 19被引用数 39

ひとこと要約

本稿では、モデル圧縮の目的ではなく、過学習の低減と精度向上を目的として、生体医療画像セグメンテーションにおける完全畳み込みネットワーク（FCNs）への量子化の新しい応用を提案する。最先端のフレームワークの提示的アノテーションおよびネットワーク学習の両段階に量子化を統合することで、MICCAI Glandデータセットにおいて最大1%の高いセグメンテーション性能を達成するとともに、メモリ使用量を最大6.4倍まで削減した。

ABSTRACT

With pervasive applications of medical imaging in health-care, biomedical image segmentation plays a central role in quantitative analysis, clinical diagno- sis, and medical intervention. Since manual anno- tation su ers limited reproducibility, arduous e orts, and excessive time, automatic segmentation is desired to process increasingly larger scale histopathological data. Recently, deep neural networks (DNNs), par- ticularly fully convolutional networks (FCNs), have been widely applied to biomedical image segmenta- tion, attaining much improved performance. At the same time, quantization of DNNs has become an ac- tive research topic, which aims to represent weights with less memory (precision) to considerably reduce memory and computation requirements of DNNs while maintaining acceptable accuracy. In this paper, we apply quantization techniques to FCNs for accurate biomedical image segmentation. Unlike existing litera- ture on quantization which primarily targets memory and computation complexity reduction, we apply quan- tization as a method to reduce over tting in FCNs for better accuracy. Speci cally, we focus on a state-of- the-art segmentation framework, suggestive annotation [22], which judiciously extracts representative annota- tion samples from the original training dataset, obtain- ing an e ective small-sized balanced training dataset. We develop two new quantization processes for this framework: (1) suggestive annotation with quantiza- tion for highly representative training samples, and (2) network training with quantization for high accuracy. Extensive experiments on the MICCAI Gland dataset show that both quantization processes can improve the segmentation performance, and our proposed method exceeds the current state-of-the-art performance by up to 1%. In addition, our method has a reduction of up to 6.4x on memory usage.

研究の動機と目的

• モデル圧縮の目的ではなく、過学習の低減を目的とした正則化としての量子化を活用することで、完全畳み込みネットワーク（FCNs）における生体医療画像セグメンテーションの精度を向上させること。
• 提示的アノテーションフレームワークをFCNsに適応させるために、サンプル選択段階とネットワーク学習段階の両方に量子化を統合すること。
• 特に悪性構造に対して、低データ量・高ばらつきの生体医療画像セグメンテーションタスクにおいて、量子化が性能向上に寄与するかどうかを評価すること。
• 精度を損なわず、リソース制限のあるシステムへの効率的なデプロイを可能にする、顕著なメモリ削減を達成すること。

提案手法

• アクティブラーニングに基づくサンプル選択段階で量子化を適用することで、高代表性を持つトレーニングサンプルを生成する「量子化を用いた提示的アノテーション」を導入する。
• 最適化プロセス中に重みの量子化を適用することで、FCNsにおける過学習を低減する正則化を実現する「量子化を用いたネットワーク学習」を適用する。
• 重みの量子化にINQ（反復的ネットワーク量子化）手法を採用し、フル精度から5〜7ビットへのビット幅削減を可能にする。
• パrameterの分布を保持し、精度損失を最小限に抑える対称的で非一様な量子化スキームを採用する。
• 特にばらつきの高い状況下でも耐性を高めるために、5つの並列FCNを用いたアンサンブル学習を採用する。
• 提示的アノテーションおよびネットワーク学習の両方において、量子化ありと非量子化ありのバリエーションを比較する複数の構成で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 FCNsにおける重みの量子化が、過学習の低減と生体医療画像解析におけるセグメンテーション精度の向上を目的とした正則化として機能するか？
• RQ2 代表的なサンプルが選択される提示的アノテーション段階で量子化を適用することで、標準的なサンプリングに比べてより良い一般化性能が得られるか？
• RQ3 ネットワーク学習段階での量子化が性能に与える影響は何か、特にフル精度重みを用いた標準的な学習と比較してどうか？
• RQ4 生体医療画像セグメンテーションに適したFCNにおいて、量子化のビット幅と性能向上の最適なバランスは何か？
• RQ5 量子化が同時に精度向上とメモリ使用量の削減を達成できるか？

主な発見

• 提案手法は、MICCAI Glandデータセットにおいて、非悪性（パートA）および悪性（パートB）の両者において、現在の最先端性能を最大1%上回るセグメンテーション精度を達成した。
• 量子化を用いた提示的アノテーションは、複数の構成において平均0.9%の性能向上をもたらした。特に単一のFCNを用いたモデルで顕著な効果を示した。
• 5つの並列FCNを用いた場合、量子化を用いたネットワーク学習が顕著な性能向上をもたらした。これは、量子化の正則化効果がアンサンブル設定においてより効果的であることを示している。
• 5ビット量子化を用いることで、最大6.4倍のメモリ使用量削減が達成されたが、浮動小数点活性化のため実行時間への影響は最小限に抑えられた。
• 量子化レベル（5〜7ビット）における精度の逆U字型の傾向は、最適な量子化点が存在することを示しており、7ビットのINQが最も優れた性能を示した。
• 結果から、一部の構成において量子化が精度向上に寄与することが明らかになった。これは、一般的に量子化は精度を低下させるという前提とは対照的であり、量子化の正則化可能性の可能性を強調している。