[論文レビュー] Neuron-level Selective Context Aggregation for Scene Segmentation

Zhenhua Wang, Fanglin Gu+4 more|arXiv (Cornell University)|Nov 22, 2017

Advanced Neural Network Applications参考文献 26被引用数 4

ひとこと要約

本論文は、補助的依存関係予測子と選択的コンテキストアグレゲーターを介して、画像固有のコンテキスト的依存関係を動的に学習・適用するニューロンレベルの選択的コンテキスト集約（SCA）モジュールを提案する。この手法は、ニューロンごとに局所的特徴をグローバルに関連するコンテキストで強化することで、スキップ接続や逐次処理を必要とせず、Pascal VOCおよびCOCO Stuffデータセットにおいて強力なベースラインを上回る性能を達成する。

ABSTRACT

Contextual information provides important cues for disambiguating visually similar pixels in scene segmentation. In this paper, we introduce a neuron-level Selective Context Aggregation (SCA) module for scene segmentation, comprised of a contextual dependency predictor and a context aggregation operator. The dependency predictor is implicitly trained to infer contextual dependencies between different image regions. The context aggregation operator augments local representations with global context, which is aggregated selectively at each neuron according to its on-the-fly predicted dependencies. The proposed mechanism enables data-driven inference of contextual dependencies, and facilitates context-aware feature learning. The proposed method improves strong baselines built upon VGG16 on challenging scene segmentation datasets, which demonstrates its effectiveness in modeling context information.

研究の動機と目的

• シーンセグメンテーションにおける深層畳み込みニューラルネットワーク（CNN）における固定的で非適応的なコンテキスト集約の制限を克服すること。
• 特徴マップ内のニューロン間のコンテキスト的依存関係をデータ駆動的かつ入力固有の方法で推論可能にする仕組みを実現すること。
• 関連するグローバルコンテキストを効果的に選択的に局所的特徴に補完することで、セマンティックセグメンテーションの精度を向上させること。
• 勾配消失や逐次的依存関係を回避する、前向き伝搬可能で並列化可能なRNNベースのコンテキストモデリングの代替手段を設計すること。

提案手法

• SCAモジュールは、入力特徴に基づいてニューロン間の依存関係係数を予測する補助的ネットワーク（コンテキスト的依存関係予測子：CDP）と、これらの学習済み係数を用いて各ニューロンで重み付きで選択的にグローバル特徴を統合するコンテキスト集約演算子から構成される。
• 依存関係係数は、各ニューロンでリアルタイムに予測され、ネットワークが各ニューロンごとに関連する領域に適応的に注目できる。
• CDPは、追加の教師信号を用いずに、エンド・トゥ・エンドのバックプロパゲーションにより主セグメンテーションネットワークと同時に学習される。
• モジュールは、デコンボリューションによるアップサンプリングの直前にある最終畳み込み層に適用され、最終予測の前に特徴マップを強化する。
• スキップ接続やRNN風の逐次的更新を回避することで、効率的な並列処理が可能となる。

実験結果

リサーチクエスチョン

• RQ1 コンテキスト集約を、事前に定義されたものや固定されたものではなく、入力画像の内容に適応させることは可能か？
• RQ2 学習可能でニューロン固有の依存関係メカニズムは、固定されたグローバルプーリングや拡張畳み込みを超えてセマンティックセグメンテーションを向上させられるか？
• RQ3 前向き伝搬可能で微分可能なモジュールは、RNNベースのコンテキストモデリングに代わって長距離依存関係を保持しつつ、効率性を向上させられるか？
• RQ4 選択的で動的なコンテキスト注入は、複雑なシーンにおける視覚的に類似したピクセルの曖昧性解消に寄与するか？

主な発見

• 提案されたSCAモジュールは、Pascal VOCおよびCOCO Stuffの両データセットにおいて、PPAとCAAの観点で、すべてのCNNベースの手法を上回り、COCO Stuffでは61.6%のPPAと42.5%のCAAを達成した。
• Pascal VOCでは62.1%のmIoUを達成し、すべてのCNNベースのモデルを上回り、スキップ接続を用いていないにもかかわらず、RNNベースのDAG-RNNと同等の性能を示した。
• バスやプレーイングフィールドなど、困難なセグメンテーション事例において、ベースライン性能が顕著に向上した。これは、顕著な領域からのコンテキストを正しく割り当てた結果である。
• 定性的な分析から、依存関係予測子が意味的でクラス固有のコンテキストパターンを学習していることが示された。異なるニューロンが異なるコンテキスト領域に注目している。
• PPAとCAAの両面で、CRF-RNNやDAG-RNNを上回る性能を達成しており、逐次処理を伴わないにもかかわらず、強力なコンテキストモデリング能力を有していることが示された。