[論文レビュー] Efficient Self-Ensemble for Semantic Segmentation

Walid Bousselham, Guillaume Thibault+5 more|arXiv (Cornell University)|Nov 26, 2021

Machine Learning and Data Classification被引用数 15

ひとこと要約

この論文では、特徴マップの多スケール特徴を活用して、1つのモデル内で独立したデコーダーを学習する軽量な自己アンサンブル手法であるSenFormerを提案する。従来のアンサンブル手法に比べて高い学習コストを回避する。共有されたトランスフォーマー基盤のデコーダーを用い、デコーダー間で重みを共有し、予測を平均化することで、パラメータ数とFLOPsを削減しながら、Pascal Context（64.0 mIoU）および COCO-Stuff-10K（51.5 mIoU）で最先端の性能を達成した。

ABSTRACT

Ensemble of predictions is known to perform better than individual predictions taken separately. However, for tasks that require heavy computational resources, e.g. semantic segmentation, creating an ensemble of learners that needs to be trained separately is hardly tractable. In this work, we propose to leverage the performance boost offered by ensemble methods to enhance the semantic segmentation, while avoiding the traditional heavy training cost of the ensemble. Our self-ensemble approach takes advantage of the multi-scale features set produced by feature pyramid network methods to feed independent decoders, thus creating an ensemble within a single model. Similar to the ensemble, the final prediction is the aggregation of the prediction made by each learner. In contrast to previous works, our model can be trained end-to-end, alleviating the traditional cumbersome multi-stage training of ensembles. Our self-ensemble approach outperforms the current state-of-the-art on the benchmark datasets Pascal Context and COCO-Stuff-10K for semantic segmentation and is competitive on ADE20K and Cityscapes. Code is publicly available at github.com/WalBouss/SenFormer.

研究の動機と目的

• 従来のアンサンブル手法における複数モデルの学習にかかる高い計算コストを軽減すること。
• 1つのモデル内に複数の独立したデコーダーを構築するために、FPNから得られる多スケール特徴を独立した入力として活用すること。
• 重み共有と効率的なアーキテクチャ設計により、モデルの複雑さとFLOPsを低減しながら、精度を維持または向上させること。
• 自己アンサンブルによる多スケール特徴の活用が、UperNetのような従来の特徴統合戦略を上回るかを検証すること。
• 自己アンサンブルが深層学習モデルにおける予測の分散低減やマルチビュー表現の捉え込みに有効であるかを評価すること。

提案手法

• バックボーンとFPNを1回の順伝播で通過させ、異なるレベルでの多スケール特徴マップを抽出する。
• FPNの各レベルの特徴が、独立した軽量なトランスフォーマー基盤のデコーダーに供給され、1つのモデル内で自己アンサンブルを形成する。
• 最終的なセマンティックセグメンテーション出力は、全デコーダーの予測を平均化することで得られ、別々の学習を必要とせずアンサンブルに類似した性能を達成する。
• パラメータ数と過学習の低減を図るため、共有されたトランスフォーマー・ブロックをデコーダー間で再帰的に適用する。
• 重み共有は各デコーダー・ブロック内に限定され、デコーダー間では行われないため、独立性を保ちながら汎化性能を向上させる。
• モデルはエンドツーエンドで学習され、従来のアンサンブルで一般的な段階的学習の必要性がなくなる。

実験結果

リサーチクエスチョン

• RQ1 FPNから得られる多スケール特徴を用いた自己アンサンブル手法が、複数モデルの学習を伴わずにセマンティックセグメンテーションの性能を向上させられるか。
• RQ2 FPNの各レベルごとに独立したデコーダーを用いることで、連結などの特徴統合戦略（例：UperNet）に比べ、精度と効率性が向上するか。
• RQ3 デコーダー間で重みを共有することで、パラメータ数とFLOPsを削減しながら、アンサンブル学習による性能向上を維持できるか。
• RQ4 自己アンサンブルによる性能向上が、分散低減かマルチビュー学習の両方の要因であるか、最近の研究が示唆するように。
• RQ5 FPNの各レベルに1つ以上の学習者（デコーダー）を追加することで性能が向上するか、それとも1つの学習者で十分か。

主な発見

• SenFormerはPascal Contextで64.0 mIoUを達成し、以前の最先端手法を3.0 mIoU上回った。
• COCO-Stuff-10Kでは51.5 mIoUを達成し、以前の最先端手法を6.0 mIoU上回った。
• 性能が優れているにもかかわらず、UperNetよりもパラメータ効率的かつ計算効率的（FLOPsが低い）である。
• FPNの各レベルに1つを超える学習者を追加しても性能は向上せず、1つのスケールごとに1つのデコーダーで十分であることが示された。
• デコーダー間で重みを共有すると性能が著しく低下したため、自己アンサンブルの成功にはモデルの独立性が不可欠であることが確認された。
• アンサンブルにおける予測の分散は顕著に低減されておらず、性能向上の主な要因が分散低減ではないことが示唆された。