[論文レビュー] Learning the Superpixel in a Non-iterative and Lifelong Manner

Lei Zhu, Qi She+5 more|arXiv (Cornell University)|Mar 19, 2021

Medical Image Segmentation Techniques参考文献 30被引用数 4

ひとこと要約

本稿では、手動ラベル付けや反復的最適化を不要とする、非反復的で生涯学習に基づくCNN手法LNS-Netを提案する。軽量な特徴埋め込みモジュール、非反復的シードベースクラスタリング、および崩壊的忘却を防ぐ勾配スケーリングを活用することで、SSNなどの教師あり手法と比較して9倍低いFLOPs、20倍小さいモデルサイズで最先端の性能を達成。多彩なデータセットにおいても高い境界追随性を維持する。

ABSTRACT

Superpixel is generated by automatically clustering pixels in an image into hundreds of compact partitions, which is widely used to perceive the object contours for its excellent contour adherence. Although some works use the Convolution Neural Network (CNN) to generate high-quality superpixel, we challenge the design principles of these networks, specifically for their dependence on manual labels and excess computation resources, which limits their flexibility compared with the traditional unsupervised segmentation methods. We target at redefining the CNN-based superpixel segmentation as a lifelong clustering task and propose an unsupervised CNN-based method called LNS-Net. The LNS-Net can learn superpixel in a non-iterative and lifelong manner without any manual labels. Specifically, a lightweight feature embedder is proposed for LNS-Net to efficiently generate the cluster-friendly features. With those features, seed nodes can be automatically assigned to cluster pixels in a non-iterative way. Additionally, our LNS-Net can adapt the sequentially lifelong learning by rescaling the gradient of weight based on both channel and spatial context to avoid overfitting. Experiments show that the proposed LNS-Net achieves significantly better performance on three benchmarks with nearly ten times lower complexity compared with other state-of-the-art methods.

研究の動機と目的

• 高コストな手動アノテーションに依存する既存のCNNベースのスーパーピクセル手法の限界を解消すること。
• 生涯学習タスクとしてスーパーピクセルセグメンテーションを再定義し、災害的忘却を回避しながらオンラインで順次モデルを適応可能にすること。
• 高品質なスーパーピクセルを効率的に生成し、反復的精錬を一切行わない軽量な教師なしCNNフレームワークを開発すること。
• 弱い境界線やノイズの多いテクスチャを含む、医療画像を含む多様なドメインへの一般化性能を向上させること。
• 計算コストとモデルサイズを最小限に抑え、リアルタイムデプロイメントを可能にする高い性能を達成すること。

提案手法

• LNS-Netは3つのモジュールから構成される：低複雑性でクラスタリングに適した特徴を生成する特徴埋め込みモジュール（FEM）。
• 非反復的クラスタリングモジュール（NCM）は、シード推定層（SEL）を用いて最適なクラスタ中心（シードノード）を直接予測し、特徴類似度に基づくクラスタ層でピクセルを割り当てる。
• 勾配適応層（GAL）と勾配双方向層（GBL）を備えた勾配スケーリングモジュール（GRM）は、チャネルおよび空間的文脈を用いて勾配を動的にスケーリングし、生涯学習中の過学習を防止する。
• 範囲制限付きクラスタ損失を導入することで、真のラベルを一切必要とせず、完全に教師なしでネットワークを学習可能にする。
• モデルは生涯学習のスタイルで逐次学習され、再訓練を再開することなく、新しいデータストリームにオンラインで適応可能になる。
• 1回の順伝播で直接シード位置を推定することで、反復的クラスターリファインメントを回避し、リアルタイム推論を実現する。

Figure 1: The illustration of the workflow for the proposed LNS-Net, where the top row is the visualization of the features and the bottom is the distribution of the labels jetting in the feature space. The blue ”x” is the generated seed node.

実験結果

リサーチクエスチョン

• RQ1 スーパーピクセルセグメンテーションは、手動監視なしに順次的・オンライン適応可能な生涯学習タスクとして効果的に再定義可能か？
• RQ2 CNNベースのスーパーピクセル手法は、高品質な境界追随性と低コストな計算を維持しつつ、非反復的クラスタリングをどのように達成できるか？
• RQ3 教師なしで軽量なCNNが、多様な画像ドメインにおける精度と一般化性能において、従来の教師ありおよび教師なし手法をどの程度上回れるか？
• RQ4 チャネルおよび空間的文脈に基づく勾配スケーリングは、スーパーピクセルネットワークの生涯学習中に災害的忘却をどの程度効果的に軽減できるか？
• RQ5 提案手法は、境界線が不明瞭でノイズが多い、網膜画像やOCT画像などの医療画像タスクにも十分に一般化可能か？

主な発見

• BSDS500では0.962のASAスコアを達成し、すべての教師なし手法を上回り、教師ありのSSN手法の0.970に近い性能を示した。
• DRIVE網膜データセットでは、最高のASA（0.953）と2番目に高いBR（0.833）を記録し、正規性と速度の両面でグラフベースのERS手法をも上回った。
• DRIVEデータセットではERSの46倍速く、SSNと比較してモデルサイズは20倍小さく、FLOPsは9倍少ない。
• DMEデータセットではドメインシフトとノイズの影響にもかかわらず強力な性能を維持し、SSNは著しく性能を落とす一方、LNS-Netは顕著に優れた性能を示した。
• 精度と効率の両面で最先端の性能を達成しており、SSNと比較して9倍低いFLOPs、20倍小さいモデルサイズを実現しながら、完全に教師なしである。
• 可視化結果から、LNS-Netは特に網膜画像やOCT画像のような複雑でノイズの多い領域において、より規則的で境界追随性の高いスーパーピクセルを生成していることが明らかになった。

Figure 2: The training strategy of our LSN-Net and other learning-based superpixel segmentation methods. “Ellipses” with different colors mean different clustering tasks (images). Each “dot” means the parameters of the network during training progress. A. The multi-task learning strategy, which lear