[論文レビュー] Recurrent U-Net for Resource-Constrained Segmentation

Wei Wang, Kaicheng Yu+3 more|arXiv (Cornell University)|Jun 11, 2019

Advanced Neural Network Applications参考文献 37被引用数 12

ひとこと要約

本論文では、複数の層にわたって分割マスクおよびネットワーク内部状態を繰り返し精錬することで、分類性能を向上させる再帰的U-Netアーキテクチャを提案している。0.3百万パラメータという非常に少ないパラメータ数で、ハンド、網膜血管、道路分類タスクにおいて、DeepLabV3+ や RefineNet よりも優れた結果を達成し、最先端の性能を実現した。

ABSTRACT

State-of-the-art segmentation methods rely on very deep networks that are not always easy to train without very large training datasets and tend to be relatively slow to run on standard GPUs. In this paper, we introduce a novel recurrent U-Net architecture that preserves the compactness of the original U-Net, while substantially increasing its performance to the point where it outperforms the state of the art on several benchmarks. We will demonstrate its effectiveness for several tasks, including hand segmentation, retina vessel segmentation, and road segmentation. We also introduce a large-scale dataset for hand segmentation.

研究の動機と目的

• ARヘッドセットのようなリソース制約のある環境において、深く大規模なパラメータを持つ分類モデルの限界を克服すること。
• モデルサイズの増加や大規模な事前学習データセットの必要性を伴わずに、コンパクトなU-Netアーキテクチャの性能を向上させること。
• 大規模モデルが過学習を起こすような小規模で特化したデータセットにおいて、リアルタイムの推論を高精度で実現すること。
• 低データ環境におけるベンチマークを支援するため、新しい大規模なハンド分類データセットを提供すること。
• 複数のU-Net層にわたる再帰的精錬が、単純な再帰アーキテクチャーや標準的なU-Netを上回ることを示すこと。

提案手法

• U-Netのエンコーダーおよびデコーダーの複数層にまたがる再帰ユニット（DRU）を導入し、内部表現の繰り返し精錬を可能にした。
• 再帰的イテレーション間でパラメータ共有を採用することで、メモリ使用量と計算コストを低く保った。
• フィードバックループにより、分割マスクとネットワークの内部隠れ状態の両方を更新する再帰を採用した。
• 単一層のRNNとは異なり、複数層にわたって高レベル特徴量を繰り返し精錬できるようにした。
• ImageNetの事前学習に依存せず、小規模データセットからモデルを訓練した。
• DRUのバックボーンとして、効率的な特徴量伝搬と精錬を可能にする深さ4の残差U-Netを採用した。

実験結果

リサーチクエスチョン

• RQ1 モデルサイズを増加させずに、再帰的U-Netアーキテクチャが小規模データセットにおける分類精度を向上させられるか？
• RQ2 複数のU-Net層にわたる再帰的精錬は、単一の隠れ層のみを更新する単純な再帰ベースラインを上回るか？
• RQ3 わずか0.3百万パラメータのコンパクトモデルが、DeepLabV3+ や RefineNet といった大規模で事前学習済みのモデルを、特化したタスクで上回れるか？
• RQ4 本手法は、ハンドや網膜血管分類のような限られた学習サンプルを有するデータセットでも効果を発揮するか？
• RQ5 消費者向けハードウェア上でリアルタイム推論を実現しつつ、高精度を維持できるか？

主な発見

• 新規のキーボードハンドデータセット（12.5K枚の画像）において、提案手法の再帰的U-NetはTitan X GPUで1秒間に55フレームの速度を達成し、リアルタイム性能を示した。
• DRIVE網膜血管データセットにおいて、本手法はmIoU 0.821を達成し、以前の最先端手法（F1スコア0.822）を上回った（本手法のF1スコアは0.92）。
• Cityscapes検証セットにおいて、DRU-VGG16バージョンはmIoU 0.761を達成し、ResNet101バックボーンを搭載したDeepLabV3+と同等の性能を示した。
• 道路分類タスクにおいて、本手法はmIoU 0.560を達成し、U-Net-G よりも8ポイント高く、DRU-VGG16 よりも5ポイント高い性能を示した。
• ICNetと比較して、速度と精度のトレードオフにおいて優れた性能を示し、ICNetより高速でありながら顕著に高い精度を達成した。
• 新規の12.5K枚の画像を含む5つのベンチマークにおいて、ハンド分類においてRefineNetベースの最先端手法を上回る優れた性能を発揮した。