[論文レビュー] Tensor Low-Rank Reconstruction for Semantic Segmentation

Wanli Chen, Xinge Zhu+5 more|arXiv (Cornell University)|Aug 2, 2020

Advanced Neural Network Applications参考文献 62被引用数 11

ひとこと要約

本稿では、空間的・チャネル別に圧縮を行わず、高ランクの3次元コンテキスト特徴をモデル化するためのテンソル低ランク再構成フレームワーク、RecoNetを提案する。テンソル生成モジュール（TGM）を介してランク1のテンソルを生成し、CP分解を用いたテンソル再構成モジュール（TRM）で再構成することで、非局所法と比較して100倍以上少ないFLOPsで、複数のデータセットで最先端の性能を達成した。

ABSTRACT

Context information plays an indispensable role in the success of semantic segmentation. Recently, non-local self-attention based methods are proved to be effective for context information collection. Since the desired context consists of spatial-wise and channel-wise attentions, 3D representation is an appropriate formulation. However, these non-local methods describe 3D context information based on a 2D similarity matrix, where space compression may lead to channel-wise attention missing. An alternative is to model the contextual information directly without compression. However, this effort confronts a fundamental difficulty, namely the high-rank property of context information. In this paper, we propose a new approach to model the 3D context representations, which not only avoids the space compression but also tackles the high-rank difficulty. Here, inspired by tensor canonical-polyadic decomposition theory (i.e, a high-rank tensor can be expressed as a combination of rank-1 tensors.), we design a low-rank-to-high-rank context reconstruction framework (i.e, RecoNet). Specifically, we first introduce the tensor generation module (TGM), which generates a number of rank-1 tensors to capture fragments of context feature. Then we use these rank-1 tensors to recover the high-rank context features through our proposed tensor reconstruction module (TRM). Extensive experiments show that our method achieves state-of-the-art on various public datasets. Additionally, our proposed method has more than 100 times less computational cost compared with conventional non-local-based methods.

研究の動機と目的

• 2次元類似度行列の圧縮に起因するチャネル別注目度の喪失という非局所法の限界を是正すること。
• 次元削減を伴わずに、高ランクの3次元コンテキスト特徴を直接モデル化すること。
• テンソル分解理論を用いて、コンテキスト表現における高ランクの課題を克服すること。
• 空間的およびチャネル別注目度を両方保持する、効率的で低計算量のフレームワークを開発すること。

提案手法

• チャネル、高さ、幅方向に沿ってランク1のテンソルを生成するテンソル生成モジュール（TGM）を導入し、断片的なコンテキスト特徴を捉える。
• 複数の低ランクテンソルから高ランクの注目マップを再構成するために、テンソルのコアノニカル・ポリノミアル（CP）分解を採用する。
• 段階的再構成戦略を採用：低ランクの断片を組み合わせて、完全な高ランクのコンテキスト表現を形成する。
• ランク1テンソルの異なる視点からの同時発現的コンテキスト情報を統合する再構成モジュール（TRM）を設計する。
• 非局所ブロックをTGM+TRMコンponentsに置き換えることで、セマンティックセグメンテーションネットワークにエンドツーエンドで統合する。
• 交差エントロピー損失と補助的監視を用いた標準的なトレーニングプロトコルでモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 空間的またはチャネル次元を圧縮せずに、高ランクの3次元コンテキスト特徴を効果的にモデル化できるか？
• RQ2 低ランク断片から細粒度のコンテキストを再構成するために、テンソルコアノニカル・ポリノミアル分解をどのように活用できるか？
• RQ3 低ランクから高ランクへの再構成戦略は、従来の非局所法を上回る性能をセマンティックセグメンテーションで達成できるか？
• RQ4 このような手法は、顕著に低い計算コストで最先端の性能を達成できるか？
• RQ5 個々のモジュール（TGM、TRM、補助損失）は、全体の性能向上にどのように寄与しているか？

主な発見

• Cityscapes検証セットにおいて、RecoNetは82.3%のmIoUを達成し、CCNet（81.4%）やDANet（81.5%）を上回った。
• PASCAL VOC12ではトップ1の性能を達成し、複数のデータセットにわたる一貫性ある優位性を示した。
• CityscapesではTGM+TRMコンponentsのおかげでmIoUが5.8%向上（73.1%から78.9%へ）、その主導的役割が裏付けられた。
• 非局所ベースの手法（例：CCNetやAsymmetricNL）と比較して、100倍以上少ないFLOPsを消費した。
• 可視化結果から、個々のサブ注目マップが異なる画像領域に注目していることが確認され、有効な長距離依存性モデリングが実現していることが示された。
• アブレーションスタディにより、TGM+TRMモジュールが性能向上の主因であることが確認され、補助損失およびマルチスケール推論による追加的利益も得られた。