[論文レビュー] Learning Deep Representations for Scene Labeling with Semantic Context Guided Supervision

Zhe Wang, Hongsheng Li+2 more|arXiv (Cornell University)|Jun 8, 2017

Multimodal Machine Learning Applications参考文献 42被引用数 3

ひとこと要約

本論文では、画像のシーン名や局所的なラベルマップ統計といった意味的文脈を活用して、クラス内変動を低減する階層的サブクラスを生成することで、シーンラベル付けのためのより判別性の高い深層特徴を学習する新規手法を提案する。これらのサブクラスを微調整戦略における監視信号として用いることで、モデルの複雑さを増さずにセグメンテーション精度を向上させ、4つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Scene labeling is a challenging classification problem where each input image requires a pixel-level prediction map. Recently, deep-learning-based methods have shown their effectiveness on solving this problem. However, we argue that the large intra-class variation provides ambiguous training information and hinders the deep models' ability to learn more discriminative deep feature representations. Unlike existing methods that mainly utilize semantic context for regularizing or smoothing the prediction map, we design novel supervisions from semantic context for learning better deep feature representations. Two types of semantic context, scene names of images and label map statistics of image patches, are exploited to create label hierarchies between the original classes and newly created subclasses as the learning supervisions. Such subclasses show lower intra-class variation, and help CNN detect more meaningful visual patterns and learn more effective deep features. Novel training strategies and network structure that take advantages of such label hierarchies are introduced. Our proposed method is evaluated extensively on four popular datasets, Stanford Background (8 classes), SIFTFlow (33 classes), Barcelona (170 classes) and LM+Sun datasets (232 classes) with 3 different networks structures, and show state-of-the-art performance. The experiments show that our proposed method makes deep models learn more discriminative feature representations without increasing model size or complexity.

研究の動機と目的

• シーンラベル付けにおける大きなクラス内変動が、深層モデルが判別性の高い特徴を学習することを妨げるという課題に対処すること。
• 未利用に近い意味的文脈（画像のシーン名と局所的ラベルマップ統計）を、より良い特徴学習のための監視信号として活用することの検討。
• 手動アノテーションを伴わずに意味のあるサブクラス階層を構築できる訓練フレームワークの設計。
• 構造的な監視信号によるラベルの曖昧さを低減することで、深層特徴表現学習を向上させること。

提案手法

• 本手法は、画像パッチをそのシーン名（例：'街中' と '高い建物'）に基づいてグループ化することで、クラス内の外観変動を低減するサブクラス階層を構築する。
• さらに、画像パッチのラベルマップ統計（例：'道路に沿った建物' と '山間の建物'）を用いてサブクラスを生成し、空間的意味的レイアウトを捉える。
• 2段階の訓練戦略を導入：逐次的微調整と階層的損失に基づく微調整。両者とも、サブクラス階層を特徴学習のガイドとして活用する。
• ベースラインモデルを用いて未ラベル付きピxlsを予測し、反復的にサブクラス階層を精緻化することで、自己教師付きの監視信号の改善を可能にする。
• ネットワークアーキテクチャを階層的監視に対応するように変更し、より深く判別性の高い特徴学習を可能にする。
• モデルサイズや複雑さを増さずに、意味的文脈からのより豊かな監視信号によって性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 シーン名やラベルマップ統計といった意味的文脈を、シーンラベル付けにおけるクラス内変動を低減するより一貫性のあるサブクラスを生成するために効果的に利用できるか？
• RQ2 意味的文脈からの階層的監視を組み込むことで、CNNにおける深層特徴表現学習はどのように向上するか？
• RQ3 ベースライン予測を用いた自己教師付き精緻化プロセスは、サブクラス作成の質とセグメンテーション精度を向上させることができるか？
• RQ4 逐次的または階層的微調整という提案された訓練戦略は、元のクラスラベルを用いた標準的な訓練を上回るか？
• RQ5 構造的な監視信号からの改善された特徴学習は、モデル複雑さを増さずに、どの程度最先端の性能を達成できるか？

主な発見

• 提案手法は、Stanford Background、SIFTFlow、Barcelona、LM+Sunの4つのベンチマークデータセットで最先端の性能を達成した。
• Barcelonaデータセットでは、ピxls単位の正確度が0.758、クラス単位の正確度が0.19を達成し、OverFeat+H+LCを含む先行手法を上回った。
• LM+Sunデータセットでは、ピxls単位の正確度が0.701、クラス単位の正確度が0.185に達し、ベースラインのOverFeatモデルおよび他のSOTA手法を上回った。
• ベースライン予測からのラベルマップクラスタリングの使用により、初期ラベルが不完全であっても顕著な改善が得られ、予測誤差に対して強いロバストネスを示した。
• 階層的微調整戦略は、逐次的戦略を常に上回り、構造的な監視が特徴学習を強化することを示した。
• モデルサイズや複雑さを増さずにセグメンテーション正確度を向上させた。これは、豊富な監視信号そのものが性能向上に寄与することを証明した。