[論文レビュー] Efficient Self-Ensemble Framework for Semantic Segmentation

Walid Bousselham, Guillaume Thibault+5 more|arXiv (Cornell University)|Nov 26, 2021

Advanced Neural Network Applications参考文献 46被引用数 12

ひとこと要約

本論文は、特徴マップのピラミッドネットワークから得られるマルチスケール特徴を用いて、1つのモデル内で複数の予測を生成する自己アンサンブルフレームワークを提案する。これにより、エンド・ト・エンドの学習が可能となり、個別のモデル学習の必要がなくなる。本手法は、独立したデコーダからの予測を統合することで、ADE20K、Pascal Context、COCO-Stuff-10Kで最先端の性能を達成し、学習コストを顕著に削減しながら精度を向上させる。

ABSTRACT

Ensemble of predictions is known to perform better than individual predictions taken separately. However, for tasks that require heavy computational resources, extit{e.g.} semantic segmentation, creating an ensemble of learners that needs to be trained separately is hardly tractable. In this work, we propose to leverage the performance boost offered by ensemble methods to enhance the semantic segmentation, while avoiding the traditional heavy training cost of the ensemble. Our self-ensemble framework takes advantage of the multi-scale features set produced by feature pyramid network methods to feed independent decoders, thus creating an ensemble within a single model. Similar to the ensemble, the final prediction is the aggregation of the prediction made by each learner. In contrast to previous works, our model can be trained end-to-end, alleviating the traditional cumbersome multi-stage training of ensembles. Our self-ensemble framework outperforms the current state-of-the-art on the benchmark datasets ADE20K, Pascal Context and COCO-Stuff-10K for semantic segmentation and is competitive on Cityscapes. Code will be available at github.com/WalBouss/SenFormer.

研究の動機と目的

• 従来のアンサンブル手法における、複数モデルの学習にかかる高い計算コストを軽減すること。
• 個々のモデルを別々に学習することなく、アンサンブルレベルの性能を達成する手法を開発すること。
• 特徴マップのピラミッドネットワークからのマルチスケール特徴を活用し、1つのアーキテクチャ内で多様で独立したデコーダを構築すること。
• 従来のアンサンブルとは異なり、複数段階の学習パイプラインを避けることにより、アンサンブルフレームワークのエンド・ト・エンド学習を可能にすること。
• 計算効率を維持したまま、ベンチマークデータセットにおけるセマンティックセグメンテーションの精度を向上させること。

提案手法

• フレームワークは、特徴マップのピラミッドネットワークを用いてマルチスケール特徴を抽出し、それらを複数の独立したデコーダの入力とする。
• 各デコーダは別個のセグメンテーション予測を出力し、1つのモデル内でアンサンブルをエミュレートする。
• 最終的な予測は、全デコーダの出力を統合することで得られ、通常は投票または平均化を用いる。
• 全モデルがエンド・ト・エンドで学習され、段階的微調整を伴わずにすべてのコンponentsが同時に最適化可能である。
• アーキテクチャは、デコーダ間での高い特徴多様性を維持するように設計されており、アンサンブルの一般化性能を向上させる。
• モデル蒸留や別々の学習フェーズを回避することで、学習と推論の両方を簡素化する。

実験結果

リサーチクエスチョン

• RQ1 複数のモデルを学習せずに、1つのディープラーニングモデルがセマンティックセグメンテーションでアンサンブルレベルの性能を達成できるか？
• RQ2 マルチスケール特徴を効果的に活用して、1つのアーキテクチャ内で多様で独立したデコーダを構築する方法は何か？
• RQ3 自己アンサンブルフレームワークのエンド・ト・エンド学習は、従来の複数段階のアンサンブル学習に比べ、精度と効率の面で優れているか？
• RQ4 自己アンサンブルフレームワークは、標準的なセマンティックセグメンテーションベンチマークでどの程度の性能向上を達成するか？
• RQ5 提案手法は、最先端の結果を達成しながらも、計算効率を維持できるか？

主な発見

• 自己アンサンブルフレームワークは、ADE20Kデータセットで最先端の性能を達成し、従来手法を上回った。
• Pascal Contextデータセットでも新しい最先端の結果を樹立し、多様なシーンにわたる強力な一般化性能を示した。
• COCO-Stuff-10Kでも競争力ある性能を達成し、異なるデータセット分布に対してもロバストであることを示した。
• 3つのベンチマークすべてで、従来の手法を上回った。さらに、1つのエンド・ト・エンド段階でのみ学習可能である。
• 個別のモデル学習の必要がなくなるため、従来のアンサンブル手法と比較して学習コストを顕著に削減した。
• 同時に学習された複数のデコーダからの予測の統合により、推論の複雑さを増すことなく、セグメンテーション精度が向上した。