[論文レビュー] PixelNet: Towards a General Pixel-level Architecture

Aayush Bansal, Xinlei Chen+3 more|arXiv (Cornell University)|Sep 21, 2016

CCD and CMOS Imaging Sensors参考文献 61被引用数 55

ひとこと要約

PixelNet は、トレーニング中に画素の階層的サンプリングを用いることで統計的効率を向上させる一般化されたピクセルレベルアーキテクチャを提案する。これにより、マルチスケール特徴量上に深く非線形な予測器を適用可能となり、コンテキスト後処理を必要とせずに、意味的セグメンテーション（PASCAL-Context）、表面法線推定（NYUDv2）、エッジ検出（BSDS）の分野で最先端の性能を達成した。

ABSTRACT

We explore architectures for general pixel-level prediction problems, from low-level edge detection to mid-level surface normal estimation to high-level semantic segmentation. Convolutional predictors, such as the fully-convolutional network (FCN), have achieved remarkable success by exploiting the spatial redundancy of neighboring pixels through convolutional processing. Though computationally efficient, we point out that such approaches are not statistically efficient during learning precisely because spatial redundancy limits the information learned from neighboring pixels. We demonstrate that (1) stratified sampling allows us to add diversity during batch updates and (2) sampled multi-scale features allow us to explore more nonlinear predictors (multiple fully-connected layers followed by ReLU) that improve overall accuracy. Finally, our objective is to show how a architecture can get performance better than (or comparable to) the architectures designed for a particular task. Interestingly, our single architecture produces state-of-the-art results for semantic segmentation on PASCAL-Context, surface normal estimation on NYUDv2 dataset, and edge detection on BSDS without contextual post-processing.

研究の動機と目的

• 完全畳み込みネットワーク（FCNs）が高相関な画素データから学習する際の統計的非効率性を解消すること。
• 一様な統合アーキテクチャを用いて、低レベル（エッジ検出）から高レベル（意味的セグメンテーション）までの多様なピクセルレベル予測タスクにおけるモデル性能を向上させること。
• 畳み込み処理による計算効率と、多様なサンプリングによる統計的効率のトレードオフを検討すること。
• スパースサンプリングによるメモリおよび計算コストの削減を通じて、マルチスケール特徴量上により深い非線形予測器（多層全結合ネットワーク）を適用可能にする。
• タスク固有の設計や後処理を必要とせず、単一のアーキテクチャがタスク特化モデルを上回ることを実証すること。

提案手法

• 各SGDバッチ更新時に、統計的独立性と学習効率を向上させるために、画像ごとに少数の多様な画素を選択する階層的サンプリングを用いる。
• 入力画像からマルチスケール特徴量を抽出するために畳み込み処理を適用し、空間不変性と計算効率を維持する。
• サンプリングされたマルチスケール特徴量に非線形予測器（ReLU活性化関数を有する複数層の全結合層）を適用し、線形予測器に比べてより複雑な意思決定境界を可能にする。
• トレーニング中のメモリおよび時間コストを削減するため、完全畳み込み推論とは対照的に、オンデマンドでスパース特徴予測を計算する。
• エッジ検出のように陽性エッジが希少なクラス不均衡データセットに対応するため、陽性サンプルの比率を高くする（例：75%）など、バイアス付きのサンプリング戦略を採用する。
• 特にクラス不均衡の影響を受ける状況でも安定した学習を実現するため、勾配正規化と学習率スケジューリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 タスク固有のアーキテクチャ修正を加えずに、単一のディープラーニングアーキテクチャが多様なピクセルレベル予測タスクで最先端の性能を達成できるか？
• RQ2 空間的冗長性に依存する畳み込みネットワークにおいても、トレーニング時に画素の階層的サンプリングが統計的効率を向上させるか？
• RQ3 マルチスケール特徴量に非線形予測器を適用することで、ハイパーカラムベースアーキテクチャにおける線形予測器を上回る性能が得られるか？
• RQ4 オンデマンドでのスパースサンプリングは、計算コストをどの程度削減できるか、同時にモデルの精度を維持または向上させられるか？
• RQ5 希少クラス（例：エッジ）に対してバイアス付きサンプリングを適用した場合、一様サンプリングと比較してモデル性能にどのような影響を与えるか？

主な発見

• PixelNet はコンテキスト後処理を必要とせず、PASCAL-Context データセットで意味的セグメンテーションにおいて最先端の性能を達成し、新たなSOTAを樹立した。
• エッジ検出（BSDS）においても競争力のある結果を達成し、特にシロナガスクジラやエイグルの周囲で、意味的輪郭の検出において HED システムを上回った。
• NYUDv2 における表面法線推定では、先行研究[4]で報告された性能と同等またはそれを上回った。これは中レベルタスクへの汎用性を示している。
• マルチスケール特徴量に非線形予測器（多層全結合ネットワーク）を適用することで、線形予測器に比べて顕著に精度が向上した。特に階層的サンプリングと組み合わせた場合に顕著であった。
• 陽性エッジ（例：75%の陽性比率）にバイアスをかけるサンプリング戦略により、エッジ検出で測定可能な性能向上が得られ、クラスに偏ったサンプリングの有効性を裏付けた。
• アーキテクチャの汎用性が高く、単一のモデルが低レベル（エッジ）、中レベル（法線）、高レベル（意味的）タスクにおいてSOTAまたは準SOTAの性能を達成した。これにより、汎用性と耐障害性が裏付けられた。