[論文レビュー] Pattern-Affinitive Propagation across Depth, Surface Normal and Semantic Segmentation

Zhenyu Zhang, Zhen Cui+4 more|arXiv (Cornell University)|Jun 8, 2019

Advanced Vision and Imaging参考文献 59被引用数 23

ひとこと要約

本稿では、タスク間の再帰的パターン類縁性を活用することで、深度、表面法線、セマンティックセグメンテーションの共同予測を実現する新しいフレームワーク、Pattern-Affinitive Propagation (PAP) を提案する。クロスタスクの伝播により非局所的類縁行列を介して類縁パターンを統合・最適化し、タスク固有の反復的拡散を用いることで性能を向上させ、NYUD-v2、SUN-RGBD、KITTIベンチマークで最先端または競争力のある結果を達成した。

ABSTRACT

In this paper, we propose a novel Pattern-Affinitive Propagation (PAP) framework to jointly predict depth, surface normal and semantic segmentation. The motivation behind it comes from the statistic observation that pattern-affinitive pairs recur much frequently across different tasks as well as within a task. Thus, we can conduct two types of propagations, cross-task propagation and task-specific propagation, to adaptively diffuse those similar patterns. The former integrates cross-task affinity patterns to adapt to each task therein through the calculation on non-local relationships. Next the latter performs an iterative diffusion in the feature space so that the cross-task affinity patterns can be widely-spread within the task. Accordingly, the learning of each task can be regularized and boosted by the complementary task-level affinities. Extensive experiments demonstrate the effectiveness and the superiority of our method on the joint three tasks. Meanwhile, we achieve the state-of-the-art or competitive results on the three related datasets, NYUD-v2, SUN-RGBD and KITTI.

研究の動機と目的

• タスク間の知識を活用することで、シーン理解の向上を図るため、深度、表面法線、セマンティックセグメンテーションを共同で予測すること。
• 異なるタスク間で再帰的パターン類縁関係をモデル化し、特徴表現と予測精度を向上させること。
• 構造的な伝播メカニズムを通じて、複数のタスクからの補完的情報を活用する手法を開発すること。
• データ豊富なドメイン（例：NYUD-v2）からデータが乏しいドメイン（例：KITTI）への知識蒸留を効果的に可能にすること。

提案手法

• PAPフレームワークは二段階の伝播を導入：非局所的類縁行列を用いてタスク間で類縁パターンを統合・最適化するクロスタスク伝播。
• 深度、法線、セグメンテーションマップの画素間ペアワイズ類縁を、REL、RMSE、ラベル整合性指標を用いて定式化する。
• タスク固有の伝播は、特徴空間における反復的拡散を実行し、各タスク内でクロスタスク類縁パターンを広めることで学習を正則化する。
• 局所的近傍仮定に代わって、長距離依存性を捉えるために非局所演算を用いる。
• 各タスクごとに類縁行列を学習し、クロスタスク最適化により一般化性能とロバストネスを向上させる。
• 共有特徴とタスク固有ヘッドを用いて、ResNet-50をバックボーンとしてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 深度、表面法線、セマンティックセグメンテーションタスク間の再帰的パターン類縁性を効果的にモデル化することで、共同予測の性能向上が図れるか？
• RQ2 クロスタスク類縁性をどのように伝播させれば、各タスクの性能向上が達成できるか？
• RQ3 提案手法は、RGB入力のみで複数のベンチマークデータセットで最先端の結果を達成できるか？
• RQ4 PAPフレームワークは、データ豊富なドメインからデータが乏しいドメインへの知識蒸留をどの程度効果的に可能にするか？

主な発見

• NYUD-v2では、KITTI深度ベンチマークで14.58 SILog、3.96 sqErrRel、11.50 absErrRel、15.24 iRMSEを達成し、DORNを上回る多数の指標で優れた性能を示した。
• SUN-RGBDでは、83.8%のピクセル精度、58.4%の平均精度、50.5%のIoUを達成し、すべての指標で最良クラスにランクされた。
• NYUD-v2では、セマンティックセグメンテーションで62.5%の平均精度と50.4%のIoUを達成し、RGB入力のみで強力な性能を示した。
• KITTIにおいても、DORNを含む最先端の手法を上回る精度と推論速度を達成した。
• NYUD-v2、SUN-RGBD、KITTIにおける定性的な結果は、真値に近い高品質で詳細な予測を示した。
• NYUD-v2からKITTIへの知識蒸留の結果、本手法がリソースが限られた環境でも有効であることが示された。