[論文レビュー] PixelNet: Representation of the pixels, by the pixels, and for the pixels

Aayush Bansal, Xinlei Chen+3 more|arXiv (Cornell University)|Feb 21, 2017

Advanced Neural Network Applications参考文献 87被引用数 93

ひとこと要約

PixelNetはピクセルをサンプリングし、ハイパーカラム特徴量上でMLPを用いて多様で非線形なピクセル単位の予測器を学習し、セグメンテーション、表面法線推定、エッジ検出の分野で最先端の成果を達成する。

ABSTRACT

We explore design principles for general pixel-level prediction problems, from low-level edge detection to mid-level surface normal estimation to high-level semantic segmentation. Convolutional predictors, such as the fully-convolutional network (FCN), have achieved remarkable success by exploiting the spatial redundancy of neighboring pixels through convolutional processing. Though computationally efficient, we point out that such approaches are not statistically efficient during learning precisely because spatial redundancy limits the information learned from neighboring pixels. We demonstrate that stratified sampling of pixels allows one to (1) add diversity during batch updates, speeding up learning; (2) explore complex nonlinear predictors, improving accuracy; and (3) efficiently train state-of-the-art models tabula rasa (i.e., "from scratch") for diverse pixel-labeling tasks. Our single architecture produces state-of-the-art results for semantic segmentation on PASCAL-Context dataset, surface normal estimation on NYUDv2 depth dataset, and edge detection on BSDS.

研究の動機と目的

• 低・中・高レベルのタスク全般の密なピクセル単位予測問題に対する一般設計を動機づける。
• 畳み込みベースの学習における統計効率と計算効率のトレードオフを調査する。
• 疎なピクセルサンプリングが学習を高速化し、線形のスキップ接続を超える非線形予測器を可能にすることを示す。
• 大規模事前学習なしで、ゼロからモデルを学習できるようピクセルレベルの最適化を実証する。
• セグメンテーション、法線、エッジ検出で高い性能を達成する単一のアーキテクチャを確立する。

提案手法

• ピクセルをマルチスケールのCNN特徴量から形成されるハイパーカラム記述子h_pで表現する。
• SGDを介してエンドツーエンドで学習された非線形MLP g(h_p)によりピクセルごとの出力を予測する。
• 1x1のMLPと必要に応じた特徴量補間を用いてテスト時に密なハイパーカラムを効率的に計算する。
• 情報量の多いミニバッチを作るため、各画像につき少数で多様なサンプルピクセルを用いて訓練する。
• メモリ効率のためのデコンボリューションアップサンプリングとオンデマンド計算の比較を実証する。
• ラベルの不均衡（例：エッジ）に対応するため、均一サンプリングとバイアスサンプリングを含むサンプリング戦略を検討する。

実験結果

リサーチクエスチョン

• RQ1 疎なピクセルサンプリングは、タスク間でピクセル単位予測器を学習するための十分な勾配情報を提供できるか。
• RQ2 ハイパーカラム特徴量上の非線形MLPを線形スキップ接続の代わりに用いると、精度は改善され、スクラッチからのエンドツーエンド訓練を可能にするか。
• RQ3 ピクセルレベルの最適化は、ImageNetの事前学習なしでランダム初期化から競争力のあるモデルを訓練できるか。
• RQ4 セグメンテーション、法線、エッジ検出の密なピクセル予測において、効率と精度を最大化する設計とサンプリングの選択肢は何か。

主な発見

• 画像あたりの少数のピクセルでも空間的なピクセル相関により学習が可能で、 diverseなバッチを用いたSGDを速くする。
• ハイパーカラム特徴量上の非線形MLPは、線形予測子よりも優れており、バッチ正規化を線形モデルと組み合わせた場合には特にそうだが、MLPには必須ではない。
• ハイパーカラム特徴量のオンデマンド計算は、デコンボリューションによる完全な密アップサンプリングよりも遥かにメモリ効率が良いのに、性能を維持する。
• PixelNetは、バッチ正規化と組み合わせるとランダムな正規初期化からゼロから訓練可能で、タスク間で競争力のある結果を達成する。
• このアプローチは、セマンティックセグメンテーション（PASCAL-Context）、表面法線（NYUDv2）、エッジ検出（BSDS-500）で最先端の結果を生む。
• バイアスのあるサンプリングを正の方向へ行うとエッジ検出の性能が向上し、BSDSで人間レベルのF値を達成する。