[論文レビュー] Learnable Tree Filter for Structure-preserving Feature Transform

Lin Song, Yanwei Li+5 more|arXiv (Cornell University)|Sep 27, 2019

Advanced Neural Network Applications被引用数 22

ひとこと要約

本稿では、特徴の類似度から構築された最小全域木（MST）を活用することで、オブジェクト構造を保持しながらセマンティックセグメンテーションにおける長距離依存関係をモデル化する学習可能なツリー・フィルターモジュールを提案する。本手法は線形時間アルゴリズムを用いて効率的な推論を実現し、PSPや非局所ブロックと比較して最小限の計算オーバーヘッドで最先端の性能を達成する。

ABSTRACT

Learning discriminative global features plays a vital role in semantic segmentation. And most of the existing methods adopt stacks of local convolutions or non-local blocks to capture long-range context. However, due to the absence of spatial structure preservation, these operators ignore the object details when enlarging receptive fields. In this paper, we propose the learnable tree filter to form a generic tree filtering module that leverages the structural property of minimal spanning tree to model long-range dependencies while preserving the details. Furthermore, we propose a highly efficient linear-time algorithm to reduce resource consumption. Thus, the designed modules can be plugged into existing deep neural networks conveniently. To this end, tree filtering modules are embedded to formulate a unified framework for semantic segmentation. We conduct extensive ablation studies to elaborate on the effectiveness and efficiency of the proposed method. Specifically, it attains better performance with much less overhead compared with the classic PSP block and Non-local operation under the same backbone. Our approach is proved to achieve consistent improvements on several benchmarks without bells-and-whistles. Code and models are available at https://github.com/StevenGrove/TreeFilter-Torch.

研究の動機と目的

• 長距離特徴モデリングにおける既存のグローバルコンテキスト集約手法が、オブジェクトの詳細を無視するという限界に対処すること。
• 特徴変換中に空間的および意味的構造を維持する、微分可能で構造を保持するモジュールを開発すること。
• ツリーに基づくフィルタリングをディープニューラルネットワークに実用的とするための、効率的で線形時間のアルゴリズムを設計すること。
• 一貫した性能向上が得られる統合フレームワークにモジュールを統合すること。
• 装飾的な技術を用いずにPASCAL VOC 2012およびCityscapesで最先端の結果を示すこと。

提案手法

• 本手法は、特徴マップから低レベルのガイド付き最小全域木（MST）を構築する。頂点はピクセルを表し、エッジはハイレベルな意味的類似度によって重み付けされる。
• エッジの重みはバックプロパゲーションにより学習され、特徴埋め込みに基づいて木構造自体をエンドツーエンド最適化可能となる。
• 新規の線形時間アルゴリズムにより、計算複雑度をO(N²)からO(N)に低減し、リアルタイムデプロイメントに適したものとなる。
• ツリー・フィルタリングモジュールは、マルチスケール特徴集約のための汎用的で微分可能なコンponentとしてディープニューラルネットワークに組み込まれる。
• フレームワークは、バックボーンにおけるPSPや非局所ブロックの代替または補完として、ツリー・フィルターを統合する。
• ツリー構造に空間的近接性と特徴類似度を統合することで、オブジェクトの詳細を保持する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な木構造グラフは、セマンティックセグメンテーションにおいて、細粒度のオブジェクト詳細を保持しながら長距離依存関係を効果的にモデル化できるか？
• RQ2 計算コストを最小限に抑えつつ、大規模な特徴マップにスケーラブルな微分可能で効率的なツリー・フィルタリングモジュールを設計できるか？
• RQ3 提案手法のモジュールは、PSP や非局所ブロックといった標準的なグローバルコンテキストモジュールと比較して、精度と効率の両面で優れているか？
• RQ4 既存のセグメンテーションアーキテクチャに、アーキテクチャの変更なしに効果的にツリー・フィルターを統合できるか？
• RQ5 本手法はベンチマークをまたいで一般化可能であり、データ拡張や事前学習を用いずに最先端の性能を達成できるか？

主な発見

• 提案されたツリー・フィルター（TF）は、ResNet-50を用いてPASCAL VOC 2012で74.9%のmIoUを達成し、FLOPsが8FLOPs増加するも、PSP（74.3%）やNL（74.2%）を上回り、FLOPs増加率は1.5%未満に抑えられた。
• ResNet-101とマルチステージTFを用いることで、PASCAL VOC 2012の検証セットで75.6%のmIoUを達成し、ベースラインから8.3ポイントの向上を達成した。
• Cityscapesでは、微細アノテーションデータのみを用い、ヴァナイルなResNet-101を用いても、先行研究の最先端手法を上回る80.8%のmIoUを達成した。
• MS-COCOでの事前学習を用いることで、PASCAL VOC 2012で86.3%のmIoUを達成し、新たな最先端の結果を樹立した。
• 線形時間実装により、標準的な非局所演算と比較してFLOPsを30%以上削減しながら、精度を維持または向上させた。
• アブレーションスタディの結果、異なるバックボーンや設定において、計算コストを最小限に抑えつつ一貫した性能向上が確認された。