[論文レビュー] HS3: Learning with Proper Task Complexity in Hierarchically Supervised Semantic Segmentation

Shubhankar Borse, Hong Cai+2 more|arXiv (Cornell University)|Nov 3, 2021

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

HS3 は、中間層の表現能力に応じてタスクの複雑さを調整する階層的監視方式を提案する。語義クラスを段階的に小さな集合にクラスタリングすることで、複雑度が低いタスクで訓練し、HS3-Fuse を用いて階層的特徴を統合することで、推論コストを増加させずに Cityscapes および NYUD-v2 で最先端の性能を達成した。深層監視や手動クラスタリング手法を上回った。

ABSTRACT

While deeply supervised networks are common in recent literature, they typically impose the same learning objective on all transitional layers despite their varying representation powers. In this paper, we propose Hierarchically Supervised Semantic Segmentation (HS3), a training scheme that supervises intermediate layers in a segmentation network to learn meaningful representations by varying task complexity. To enforce a consistent performance vs. complexity trade-off throughout the network, we derive various sets of class clusters to supervise each transitional layer of the network. Furthermore, we devise a fusion framework, HS3-Fuse, to aggregate the hierarchical features generated by these layers, which can provide rich semantic contexts and further enhance the final segmentation. Extensive experiments show that our proposed HS3 scheme considerably outperforms vanilla deep supervision with no added inference cost. Our proposed HS3-Fuse framework further improves segmentation predictions and achieves state-of-the-art results on two large segmentation benchmarks: NYUD-v2 and Cityscapes.

研究の動機と目的

• 深層監視の限界を解消すること。深層監視は、中間層の表現能力に差があるにもかかわらず、すべての層に同一で高複雑度のタスクを課している。
• 中間層の実際の学習能力に適合した監視タスクの複雑度にすることで、意味のある特徴を学習可能にする。
• ベースライン学習フェーズで得た誤り行列を用いて、各層における最適なクラスクラスタ数を原理的かつ自動的に特定する手法を開発すること。
• 監視された各層からの階層的特徴を活用して最終予測を豊かにする、HS3-Fuse と呼ばれる特徴統合フレームワークを設計すること。
• 適切なタスク複雑度の監視が、推論コストを増加させずにセグメンテーション精度を向上させられることを実証すること。

提案手法

• 2段階の学習プロセスを採用する。まず、誤り行列収集のための深層監視ベースラインを学習する。次に、これらの誤り行列を用いて、類似度に基づいてクラスの階層的クラスタリングを実行する。
• 性能と複雑度のトレードオフを制御するパラメータ θ が存在し、各層の能力に適合する最適な θ は経験的分析により特定される。
• 初期層では少ない数の粗いクラスで監視され、深層に近づくほどより複雑で細分化されたセグメンテーションタスクを処理するようにクラスクラスタを形成する。
• HS3-Fuse フレームワークは、各監視済み中間層の特徴を処理する軽量な OCR モジュールを用い、それらを統合することで、階層的意味的コンテキストを最終予測に組み込む。
• クラス埋め込みに依存しないため、OCR モジュールを搭載しないネットワークにも適用可能な、誤り行列に基づくスペクトルクラスタリングを用いる。
• 最終モデルは、推論時に追加コストを発生させない形で、階層的監視と特徴統合を統合しており、効率性を維持している。

実験結果

リサーチクエスチョン

• RQ1 中間層の表現能力に応じて監視タスクの複雑度を調整することで、深層セグメンテーションネットワークの各層がより意味のある表現を学習できるか？
• RQ2 セグメンテーションネットワークの各中間層において、性能とタスク複雑度の最適なトレードオフは何か？
• RQ3 自動的に導出されたクラスクラスタを用いた階層的監視は、手動クラスタリングや標準的な深層監視に比べてどのように優れているか？
• RQ4 複数の監視済み層からの階層的特徴を活用する統合フレームワークは、セグメンテーション精度をさらに向上させられるか？
• RQ5 適応的監視と特徴統合により、推論コストを増加させずに最先端の性能を達成することは可能か？

主な発見

• NYUD-v2 において、HRNetv2-w18-OCR を用いて HS3 は mIoU 41.8% を達成し、最適なトレードオフパラメータ θ = 80° を使用。提案手法による自動手法でも θ = 76° の近似的に最適な 41.7% mIoU を達成した。
• Cityscapes では、スペクトルクラスタリングを用いた HS3 が 78.1% mIoU を達成し、深層監視（77.7%）および手動クラスタリング（77.9%）を上回った。
• HS3-Fuse フレームワークは、Cityscapes で 85.7% mIoU および 71.7% iIoU を達成し、ライブベンチマークで新たな最先端を樹立した。
• スペクトルクラスタリングは手動割り当てを上回り、k-means と同等の性能を示したが、クラス埋め込みではなく誤り行列のみを必要としたため、汎用性が向上した。
• アブレーションスタディにより、過剰に複雑（θ = 0°）または過小に複雑（θ = 90°）なタスクは性能を低下させることを確認し、バランスの取れたタスク複雑度の重要性を裏付けた。
• 統合と監視が訓練時のみに実施されるため、推論コストを追加せずにセグメンテーション精度が向上した。