[論文レビュー] PCAN: 3D Attention Map Learning Using Contextual Information for Point Cloud Based Retrieval

Wenxiao Zhang, Chunxia Xiao|arXiv (Cornell University)|Apr 22, 2019

3D Shape Modeling and Analysis参考文献 40被引用数 22

ひとこと要約

本稿では、文脈に配慮したアテンションマップを学習することで、局所特徴を文脈的情報に基づいて再重み付けすることにより、ポイントクラウドベースの場所認識を向上させる3Dアテンションネットワーク、PCANを提案する。NetVLADにアテンションを統合することで、追加の教師信号なしに、ベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Point cloud based retrieval for place recognition is an emerging problem in vision field. The main challenge is how to find an efficient way to encode the local features into a discriminative global descriptor. In this paper, we propose a Point Contextual Attention Network (PCAN), which can predict the significance of each local point feature based on point context. Our network makes it possible to pay more attention to the task-relevent features when aggregating local features. Experiments on various benchmark datasets show that the proposed network can provide outperformance than current state-of-the-art approaches.

研究の動機と目的

• 3Dポイントクラウドベースの場所認識における局所ポイント特徴を、判別性の高いグローバル記述子にエンコードする課題に対処すること。
• 文脈的情報を用いて、タスクに最も関連する局所特徴を学習することで、特徴の集約を改善すること。
• リtrieval中にノイズや時間的に変化する要素（例：歩行者、浮遊物）への感受性を低減すること。
• ローカライゼーションタグ以外の追加アノテーションを必要としない自己教師付きアテンションメカニズムを開発すること。
• 特に照明条件の変化や遮蔽状況下でも、複雑で変動しやすい環境における耐性と判別力の向上を図ること。

提案手法

• PCANは、生の3Dポイントクラウドから各ポイントの局所特徴を抽出するために、PointNetベースのバックボーンを用いる。
• 文脈に配慮したアテンションモジュールは、ボールクエリベースの近隣プーリングを用いて、マルチスケールの文脈特徴を集約することでアテンションマップを計算する。
• アテンションマップは、文脈的関連性に基づいて各ポイントに重みを割り当て、安定的で判別性の高い構造（例：建物の角）を強調する。
• 重み付けされた特徴は、修正されたNetVLAD層を介して集約され、コンactな判別性の高いグローバル記述子が生成される。
• ネットワークは、最終的な記述子にL2正則化を適用するなど、ローカライゼーションタグ（追加の教師信号なし）のみを用いてエンドツーエンドで訓練される。
• 安定性と判別力のバランスを図るために、文脈集約戦略としてマルチリゾリューショングループ化（MRG）とマルチスケールグループ化（MSG）が評価された。

実験結果

リサーチクエスチョン

• RQ1 文脈に配慮したアテンション学習は、3Dポイントクラウドリtrievalにおけるグローバル記述子の判別性を向上させることができるか？
• RQ2 近隣ポイントからの文脈的情報を組み込むことで、アテンションマップの品質とリtrieval性能にどのような影響を与えるか？
• RQ3 自己教師付きアテンションメカニズムは、ポイントクラウド内のノイズや動的要素への感受性をどの程度低減できるか？
• RQ4 文脈情報を無視するアテンション機構（例：PAN）と比較して、提案されたPCANは、正確性と耐性の面でどのように優れているか？
• RQ5 異なるグループ化戦略（例：MRG、MSG）は、アテンション機構の安定性と性能にどのような影響を与えるか？

主な発見

• オックスフォードデータセットでは、PCANがトップ1%で83.81%の平均リcallを達成し、ベースラインのPointNetVLADおよびアブレーションモデルPANを上回った。
• オックスフォードデータセットでは、PANよりもトップ1リcallが3.6ポイント向上し、文脈に配慮したアテンションの価値が示された。
• 自社内データセット（例：米国データセット）でも、PCANは少ない学習データとより複雑なシーンにもかかわらず、トップ1%で69.05%のリcallを維持した。
• 可視化された結果から、アテンションマップはノイズの多いポイントや動的物体（例：歩行者、浮遊ゴミ）を効果的に抑制していることが確認された。
• アブレーションスタディにより、文脈集約が性能を顕著に向上させることを確認し、PCANはすべてのデータセットでPANを上回った。
• PCANは、葉などの不安定な特徴を無視する安定性と、角のような独自の構造を強調する判別力の間で、良好なトレードオフを実現した。