[論文レビュー] DifNet: Semantic Segmentation by Diffusion Networks

Peng Jiang, Fanglin Gu+3 more|arXiv (Cornell University)|May 21, 2018

Advanced Neural Network Applications参考文献 19被引用数 18

ひとこと要約

DifNetは、タスクをシード検出と類似度推定に分解し、階層的類似度行列上の段階的なランダムウォークを用いて画像全体にシード情報の拡散を実現する、新しい意味的セグメンテーションフレームワークを提案する。この拡散ベースのアプローチにより境界の局所化精度が向上し、空間的断片化が低減され、後処理を一切行わず、エンドツーエンドの学習が可能な状態でPascal VOCおよびPascal Contextで最先端の性能を達成した。

ABSTRACT

Deep Neural Networks (DNNs) have recently shown state of the art performance on semantic segmentation tasks, however, they still suffer from problems of poor boundary localization and spatial fragmented predictions. The difficulties lie in the requirement of making dense predictions from a long path model all at once since details are hard to keep when data goes through deeper layers. Instead, in this work, we decompose this difficult task into two relative simple sub-tasks: seed detection which is required to predict initial predictions without the need of wholeness and preciseness, and similarity estimation which measures the possibility of any two nodes belong to the same class without the need of knowing which class they are. We use one branch network for one sub-task each, and apply a cascade of random walks base on hierarchical semantics to approximate a complex diffusion process which propagates seed information to the whole image according to the estimated similarities. The proposed DifNet consistently produces improvements over the baseline models with the same depth and with the equivalent number of parameters, and also achieves promising performance on Pascal VOC and Pascal Context dataset. OurDifNet is trained end-to-end without complex loss functions.

研究の動機と目的

• 深層学習に基づく意味的セグメンテーションにおける境界の局所化精度の低さと空間的断片化の問題を解決すること。
• タスクをより単純な2つのサブタスク（シード検出と類似度推定）に分解することで、密度の高い予測の負担を軽減すること。
• 階層的意味的類似度に基づく拡散プロセスを通じて、長距離依存関係をモデル化し、細粒度のディテールを保持すること。
• 同等の深さとパラメータ数を有するベースラインモデルに対して一貫した性能向上を達成すること。
• 複雑な損失関数や後処理を一切用いずにエンドツーエンドの学習を可能にすること。

提案手法

• モデルは2本のブランチ構造を採用する：シードブランチは初期スコアマップと重要度マップを予測し、類似度ブランチは多段階の特徴を抽出して遷移行列を計算する。
• 遷移行列はピクセル間のランダムウォークの確率を表し、抽象化の異なるレベルにおける意味的類似度を符号化する。
• 5段階のランダムウォークの連鎖が、複雑な拡散プロセスを近似する。各ステップで、推定された類似度に基づいて重み付けされたシード値を集約することで予測を精緻化する。
• 拡散プロセスは、ピクセルの最終応答をシード値の重み付き和として計算し、空間的距離に依存しない非局所的かつ長距離の特徴伝搬を可能にする。
• 重要度マップは動的にシードの影響を制御し、ノイズが多いまたは関係のない領域を抑制し、顕著なオブジェクト部を強化する。
• 標準的なクロスエントロピー損失を用いて、追加の後処理や補助損失なしに、ネットワーク全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 意味的セグメンテーションをシード検出と類似度推定に分解することで、境界の局所化精度を向上させ、空間的断片化を低減できるか？
• RQ2 階層的類似度行列上の段階的なランダムウォークが、意味的セグメンテーションにおける長距離依存関係を効果的にモデル化できるか？
• RQ3 提案された拡散機構は、同じ深さとパラメータ数を有する標準的なFCNベースのモデルを上回る性能を示すか？
• RQ4 重要度マップは、拡散プロセス中におけるセグメンテーション予測の精緻化にどのように寄与するか？
• RQ5 複雑な損失関数やCRFの後処理を一切用いずに、強力な性能を達成できるか？

主な発見

• DifNetは、Pascal VOC 2012およびPascal Contextの両データセットにおいて、同等の深さとパラメータ数を有するベースラインモデルに対して一貫した性能向上を達成した。
• Pascal VOC 2012の検証セットにおいて、平均交差率（mIoU）は83.4%に達し、最先端の性能を示した。
• カスケード内の2番目および4番目のランダムウォークを削除すると、Pascal VOCで1%の性能低下が生じ、各拡散ステップの重要性が裏付けられた。
• DifNet-50の推論時間はSim-Deeplab-101（0.039s vs. 0.036s）と同等であり、モデル並列化により2倍の高速化が可能である。
• バックプロパゲーション時間はSim-Deeplab-101の1.3倍であるが、推論の利点を考慮するとこれは妥当であると判断された。
• 可視化により、遷移行列が低レベル（テクスチャ、色）および高レベル（オブジェクトレベル）の類似度を的確に捉えており、長距離依存関係が効果的にモデル化されていることが確認された。