[論文レビュー] EfficientSeg: An Efficient Semantic Segmentation Network

Vahit Buğra Yeşilkaynak, Yusuf H. Şahin+1 more|arXiv (Cornell University)|Sep 14, 2020

Advanced Neural Network Applications参考文献 24被引用数 7

ひとこと要約

この論文では、MobileNetV3ブロックを用いて、少数のデータからスケーラブルに訓練可能なU-NetベースのセマンティックセグメンテーションネットワークEfficientSegを提案する。深さスケーリングとターゲットのテクスチャ不変データ拡張を組み合わせることで、Minicityデータセットで58.1%のmIoUを達成し、U-Netを18.1ポイント上回ったが、パラメータ数はほぼ同等を維持した。

ABSTRACT

Deep neural network training without pre-trained weights and few data is shown to need more training iterations. It is also known that, deeper models are more successful than their shallow counterparts for semantic segmentation task. Thus, we introduce EfficientSeg architecture, a modified and scalable version of U-Net, which can be efficiently trained despite its depth. We evaluated EfficientSeg architecture on Minicity dataset and outperformed U-Net baseline score (40% mIoU) using the same parameter count (51.5% mIoU). Our most successful model obtained 58.1% mIoU score and got the fourth place in semantic segmentation track of ECCV 2020 VIPriors challenge.

研究の動機と目的

• 事前学習重みが利用できない場合に、限られたデータから深層セマンティックセグメンテーションネットワークを効果的に訓練するという課題に対処すること。
• 限られた監視信号のもとでも高いパフォーマンスを維持できる、スケーラブルでメモリおよび計算効率の高いアーキテクチャの開発。
• 少数データ環境下でのモデルパフォーマンスに与えるデータ拡張およびネットワーク深さの影響の調査。
• ImageNet事前学習に依存せずに、Minicityデータセットで優れたmIoUスコアを達成すること。
• 効果的なデータ拡張が、データが乏しい状況下で単純な深さスケーリングを上回ることを示すこと。

提案手法

• 効率性と表現力の向上を図るため、MobileNetV3ブロックをバックボーンとして用いた変更版U-Netアーキテクチャの設計。
• 深さスケーリング機構を実装し、深さを変更したネットワークのバリエーション（例：EfficientSeg-1.5およびEfficientSeg-6.0）を生成。
• クラス不均衡に対処するため、クラス別重み（一般的なレアクラス：2、非常に稀なクラス：3）を用いた重み付き交差エントロピー損失を適用。
• ランダムなトーン/明るさスケーリング（0.4–1.6）、JPEG圧縮、非一様スケーリング、ランダム回転（±20°）、水平フリップを含む包括的なデータ拡張戦略を実装。
• テスト時拡張として、元の画像とフリップした画像からの予測を平均化することで、モデルのロバスト性を向上。
• Adam最適化法を用い、学習率を余弦スケジュールで減少させ、エポック200および400で初期学習率（1e-3）を10分の1に低下。

実験結果

リサーチクエスチョン

• RQ1 少数のデータセット上でImageNetの事前学習重みを一切使わずに、深層セマンティックセグメンテーションネットワークを効果的に訓練できるか？
• RQ2 少数データのセグメンテーション状況下で、データ拡張は事前学習の必要性をどの程度低減できるか？
• RQ3 限られたデータから訓練する際、ネットワークの深さを増加させるとパフォーマンスにどのような影響を与えるか？
• RQ4 標準のU-Netブロックと比較して、MobileNetV3ブロックはモデル容量と効率性のバランスをより良く果たせるか？
• RQ5 少数ショット学習環境下で、データ拡張がネットワーク深さの増加を上回るパフォーマンス向上をもたらす点はあるか？

主な発見

• データ拡張戦略を全般に適用したEfficientSeg (1.5)は、Minicityテストセットで51.5%のmIoUを達成し、ベースラインのU-Netを11.5ポイント上回った。
• 最も効果的なモデル、EfficientSeg (6.0)は58.1%のmIoUを達成し、ECCV 2020 VIPriorsセマンティックセグメンテーションコンテストで4位を獲得した。
• データ拡張を適用しない場合、深さがより大きいEfficientSeg (6.0)でもmIoUは47.6%にとどまり、拡張が深さスケーリングよりも顕著に効果的であることが示された。
• 「列車」などのレアクラスにおいても、強いパフォーマンスを発揮した（拡張なし：0.002 mIoU、拡張あり：0.002 mIoU）、クラスバランスの取れた学習と拡張の恩恵が明らかになった。
• アブレーションスタディにより、トーン・明るさ・JPEG圧縮といったテクスチャ不変のデータ拡張が、ネットワーク深さの増加よりもパフォーマンスに顕著な影響を与えることが確認された。
• テスト時フリップにより予測が向上し、元の画像とフリップした画像の予測の平均値が、単一の順伝播による予測よりも高いmIoUを達成した。