[論文レビュー] Laplacian Pyramid Reconstruction and Refinement for Semantic Segmentation

Golnaz Ghiasi, Charless C. Fowlkes|arXiv (Cornell University)|May 8, 2016

Advanced Neural Network Applications参考文献 32被引用数 32

ひとこと要約

本稿では、高レベルのCNN特徴量からのサブピクセル空間情報を利用し、乗法的ゲーティングを用いたマルチスケール予測の統合を通じて、マルチリゾリューション再構築アーキテクチャを採用した、ラプラシアンピラミッド再構築と精錬（LRR）を提案する。この手法は、複雑なCRFやインスタンス検出コンponentを用いずに、PASCAL VOCおよびCityscapesベンチマークで最先端の性能を達成する。

ABSTRACT

CNN architectures have terrific recognition performance but rely on spatial pooling which makes it difficult to adapt them to tasks that require dense, pixel-accurate labeling. This paper makes two contributions: (1) We demonstrate that while the apparent spatial resolution of convolutional feature maps is low, the high-dimensional feature representation contains significant sub-pixel localization information. (2) We describe a multi-resolution reconstruction architecture based on a Laplacian pyramid that uses skip connections from higher resolution feature maps and multiplicative gating to successively refine segment boundaries reconstructed from lower-resolution maps. This approach yields state-of-the-art semantic segmentation results on the PASCAL VOC and Cityscapes segmentation benchmarks without resorting to more complex random-field inference or instance detection driven architectures.

研究の動機と目的

• 高レベル特徴量は意味的豊かであるが局所化が不十分であるという、CNN特徴階層における空間的正確性と意味的信頼性のトレードオフを解消すること。
• プーリングに起因する解像度損失にもかかわらず、高次元で低解像度の特徴マップに、利用可能なサブピクセル空間情報が存在するかどうかを調査すること。
• 複雑なCRFやインスタンスベースの後処理に依存せずに、低解像度特徴マップから密度の高い高解像度セグメンテーションマップを再構築するための効率的で学習可能なアーキテクチャを開発すること。
• ラプラシアンピラミッドに類似した構造と信頼度重み付きゲーティングを用いて、複数のネットワーク層からの予測を統合することで、セマンティックセグメンテーションの境界局所化を向上させること。
• 単純で学習可能な再構築および精錬メカニズムが、密度予測タスクにおいてより複雑なアーキテクチャを上回ることを示すこと。

提案手法

• 標準的な逆畳み込みやバイリニア補間よりも優れた空間局所化を実現するため、学習可能なクラス固有の基本関数集合を用いて低解像度特徴マップのサブピクセルアップサンプリングを実行する。
• 各レベルが最終的なセグメンテーションマスクのバンドパス表現を予測するマルチスケールのラプラシアンピラミッドアーキテクチャを構築し、高解像度層が低解像度予測を精錬する。
• 低解像度予測が信頼できる場合に、ノイズの多い高解像度予測を動的に抑制するために乗法的ゲーティングを適用する。これにより、信頼性の低い高周波数信号による性能劣化を防ぐ。
• 2段階の訓練プロトコルを採用する：まずPASCAL VOCおよびCOCOデータで32倍再構築ヘッドを事前学習し、その後スキップ接続を用いて16倍、8倍、4倍層に微調整することでマルチスケール統合を向上させる。
• 訓練中にマルチスケールデータオーグメンテーションを活用し、さまざまな入力スケールにわたる耐性および汎化性能を向上させる。
• 最終モデルをCRFベースの推論におけるユニタリポテンシャルとして統合するが、後処理なしでも高い性能を示す。

実験結果

リサーチクエスチョン

• RQ1 学習可能な再構築によって、プーリングに起因する解像度損失があるにもかかわらず、高レベルの低解像度CNN特徴マップからサブピクセル空間情報はどの程度回復可能か？
• RQ2 CNN階層の異なるレベルからのマルチスケール特徴量を効果的に統合する方法は何か？ これは意味的正確性と空間的精度のバランスを取るために不可欠である。
• RQ3 乗法的ゲーティングを備えた単純で微分可能なアーキテクチャは、より複雑なCRFやインスタンスベースの精錬手法を上回ることができるか？
• RQ4 提案されたラプラシアンピラミッド再構築フレームワークは、後処理に依存せずに、標準ベンチマークにおける境界局所化と全体のIoUを向上させるか？
• RQ5 COCOやPASCAL VOCのようにアノテーション品質が異なるデータセット間で、モデルの汎化性能はどの程度か？

主な発見

• クラス固有の基本関数を用いた提案されたサブピクセル再構築は、PASCAL VOCおよびCityscapesにおける定性的比較で、標準的なアップサンプリング手法よりも空間的正確性が顕著に向上している。
• LRR-4xモデルは、Cityscapesテストセットで70.0%の平均交差率（mIoU）を達成し、FCN-8s や DeepLab(ResNet) などの先行手法を上回っている。
• PASCAL VOC 2011バリデーションセットでは、VOCおよびCOCOデータで学習した場合、mIoUが77.5%に達し、COCO微調整なしのベースライン74.6%から2.9%の向上を達成した。
• 乗法的ゲーティングの導入により、ノイズの多い高解像度予測が効果的に抑制され、線形統合や連結と比較して、より安定的かつ正確な精錬が可能になった。
• LRRアーキテクチャは、PASCAL VOC 2012およびCityscapesベンチマークで最先端の性能を達成しており、複雑なCRFやインスタンス検出パイプラインに依存する大多数の先行手法を上回っている。
• CRF後処理なしでも、LRRモデルは競争力のある結果を達成しており、エンドツーエンドで学習可能な精錬メカニズムの有効性を示している。