[論文レビュー] Rethinking Learnable Tree Filter for Generic Feature Transform

Lin Song, Yanwei Li+6 more|arXiv (Cornell University)|Dec 7, 2020

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

本稿では、学習可能なユニアリ項と微分可能スパニングツリー計算アルゴリズムを導入することで、従来手法の幾何的制約を緩和する微分可能で学習可能なツリーフィルタモジュール、Learnable Tree Filter V2 (LTF-V2) を提案する。この手法により、構造的詳細を保持したまま長距離特徴相互作用を効果的に実現でき、線形計算量と最小限の計算オーバーヘッドで、Cityscapesにおけるセマンティックセグメンテーションで82.1%のmIoUという最先端性能を達成した。

ABSTRACT

The Learnable Tree Filter presents a remarkable approach to model structure-preserving relations for semantic segmentation. Nevertheless, the intrinsic geometric constraint forces it to focus on the regions with close spatial distance, hindering the effective long-range interactions. To relax the geometric constraint, we give the analysis by reformulating it as a Markov Random Field and introduce a learnable unary term. Besides, we propose a learnable spanning tree algorithm to replace the original non-differentiable one, which further improves the flexibility and robustness. With the above improvements, our method can better capture long-range dependencies and preserve structural details with linear complexity, which is extended to several vision tasks for more generic feature transform. Extensive experiments on object detection/instance segmentation demonstrate the consistent improvements over the original version. For semantic segmentation, we achieve leading performance (82.1% mIoU) on the Cityscapes benchmark without bells-and-whistles. Code is available at https://github.com/StevenGrove/LearnableTreeFilterV2.

研究の動機と目的

• 元の学習可能なツリーフィルタ（LTF-V1）が、剛体な幾何的制約により長距離依存関係をモデル化できないという限界を解消すること。
• LTF-V1におけるスパニングツリー構築の非微分性が、エンドツーエンド学習と耐障害性を制限する問題を克服すること。
• ツリーフィルタを学習可能なユニアリ項を有するマークフ・ランダムフィールド（MRF）として再定式化することで、より柔軟で効果的な特徴集約を可能にすること。
• 勾配がツリー構築プロセスを通り抜けることを可能にする微分可能なスパニングツリーアルゴリズムを開発すること。
• セマンティックセグメンテーションにとどまらず、オブジェクト検出やインスタンスセグメンテーションを含む、汎用的なビジョンタスクへの適用可能性を拡張すること。

提案手法

• 長距離依存関係の原理的モデリングを可能にするために、LTF-V1をマークフ・ランダムフィールド（MRF）として再定式化する。
• 各ノードの影響を調整する学習可能なユニアリ項を導入し、空間的に近い領域だけでなく、意味的に関連する遠方領域にも注目できるようにする。
• LTF-V1における非微分可能な最小スパニングツリーを置き換える学習可能なスパニングツリー（LST）アルゴリズムを提案し、エンドツーエンド学習を可能にする。
• 特徴集約にツリー構造を用いることで、線形計算量を維持し、効率性を確保する。
• 構造的変更を最小限に抑えて、ResNet-50 や ResNet-101 などのバックボーンネットワークに LTF-V2 モジュールを統合する。
• LTF-V1の設計に従い、デコーダーでグローバル平均プーリングとリジッドブロックを用いて、さらに特徴表現を強化する。

実験結果

リサーチクエスチョン

• RQ1 元の学習可能なツリーフィルタにおける幾何的制約をどのように緩和すれば、効果的な長距離特徴相互作用が可能になるか？
• RQ2 微分可能なスパニングツリー構築プロセスは、ツリーに基づく特徴集約の耐障害性とエンドツーエンド学習性を向上させ得るか？
• RQ3 学習可能なユニアリ項を導入することで、フィルタが意味的に関連する遠方領域に注目する能力がどの程度向上するか？
• RQ4 LTF-V2モジュールは、オブジェクト検出、インスタンスセグメンテーション、セマンティックセグメンテーションを含む多様なビジョンタスクでどの程度の性能を示すか？
• RQ5 LTF-V2は、最小限の計算的およびパrametricオーバーヘッドで最先端性能を達成できるか？

主な発見

• LTF-V2モジュールは、細かいアノテーションのみを用いた状態で、Cityscapesテストセットで82.1%のmIoUを達成し、細かいアノテーションのみを用いるモデルにおける新たな最先端性能を樹立した。
• COCOインスタンスセグメンテーションにおいて、LTF-V2はResNet-50-FPNベースラインに対して、AP^boxで2.4%、AP^segで1.8%の絶対的向上を達成した。
• アブレーションスタディの結果、学習可能なユニアリ項と学習可能なスパニングツリーアルゴリズムの両方が性能向上に顕著な貢献をしていることが確認され、マルチスケールおよびフリッピング増強を適用した場合、LTF-V2はLTF-V1を3.4% mIoU上回った。
• LTF-V2モジュールは線形計算量を維持しており、計算オーバーヘッドが著しくないため、実世界のデプロイに非常に効率的である。
• オブジェクト検出やインスタンスセグメンテーションを含む複数のタスクで一貫した向上が得られ、その汎用的適用性を示している。
• 学習可能なユニアリ項により、フィルタが遠方で意味的に関連する領域に注目できることが、図1の視覚的証明で示された。これは、LTF-V1の空間的近接性バイアスを克服した。