[論文レビュー] ACNe: Attentive Context Normalization for Robust Permutation-Equivariant Learning

Weiwei Sun, Wei Jiang+3 more|arXiv (Cornell University)|Jul 4, 2019

Human Pose and Action Recognition参考文献 51被引用数 10

ひとこと要約

本稿では、外れ値を抑えるために特徴量を動的に重み付けする学習可能な正規化手法であるAttentive Context Normalization (ACN)を提案する。Permutation-equivariantネットワークの性能を向上させるために、Iteratively Re-weighted Least Squares (IRLS) にインspiredされた局所的およびグローバルなアテンション機構を組み合わせ、点群分類、直線フィッティング、カメラポーズ推定において、外れ値比が極めて高い状況下でも最先端の性能を達成し、CNe や OANet といった先行手法を顕著に上回る。

ABSTRACT

Many problems in computer vision require dealing with sparse, unordered data in the form of point clouds. Permutation-equivariant networks have become a popular solution-they operate on individual data points with simple perceptrons and extract contextual information with global pooling. This can be achieved with a simple normalization of the feature maps, a global operation that is unaffected by the order. In this paper, we propose Attentive Context Normalization (ACN), a simple yet effective technique to build permutation-equivariant networks robust to outliers. Specifically, we show how to normalize the feature maps with weights that are estimated within the network, excluding outliers from this normalization. We use this mechanism to leverage two types of attention: local and global-by combining them, our method is able to find the essential data points in high-dimensional space to solve a given task. We demonstrate through extensive experiments that our approach, which we call Attentive Context Networks (ACNe), provides a significant leap in performance compared to the state-of-the-art on camera pose estimation, robust fitting, and point cloud classification under noise and outliers. Source code: https://github.com/vcg-uvic/acne.

研究の動機と目的

• スパースで順序のない点群データにおいて、既存の置換に不変なネットワークが外れ値に対して脆弱であるという問題に対処すること。
• 外れ値比が80％を超えるような状況下でも、ワイドベースラインステレオ、3次元物体分類、直線フィッティングといったタスクにおけるロバスト性を向上させること。
• ネットワーク内でのアテンション重みの推定を通じて、インライアを的確に注目できる正規化機構を構築すること。
• ノイズの高い条件下でも、従来の手法（例：Context Normalization (CN) や OANet）よりも精度と一般化性能に優れた正規化手法を実現すること。
• エンド・トゥ・エンドで学習可能なアテンションが、RANSAC や MAGSAC といった従来のロバスト推定器を上回ることを示すこと。

提案手法

• 別個のパーセプトロンを用いてアテンション重みを推定する学習可能な正規化レイヤーであるAttentive Context Normalization (ACN) を提案する。
• 局所的アテンション（個々の点の重要性を評価）とグローバルアテンション（点群全体の文脈をモデル化）の2つのアテンション機構を導入する。
• 微分可能でソフトなインライア割り当てを採用し、IRLSに類似した反復的更新により外れ値の影響を低減する。
• 局所的およびグローバルアテンションを要素ごとの乗算で統合することで、高次元空間におけるインライア領域への段階的注目を可能にする。
• カメラポーズ推定に際して、重み付き8点法に正規化された特徴量を直接入力することで、後処理としてのロバスト推定器の必要性を回避する。
• 局所的アテンション重みの教師付き学習を通じて、エンド・トゥ・エンドでアテンション機構を訓練し、特徴表現の質とロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 学習可能な正規化機構は、外れ値比が高い状況下でも、置換に不変なネットワークのロバスト性を向上させることができるか？
• RQ2 局所的およびグローバルアテンション機構を組み合わせることで、点群タスクにおける特徴表現はどのように向上するか？
• RQ3 CNe や OANet といった最先端手法を凌駕するか、外れ値が豊富な厳しい状況下でACNeは優れた性能を示すか？
• RQ4 RANSAC や MAGSAC といった従来のロバスト推定器に依存せずに、ACNeは良好な一般化性能を示せるか？
• RQ5 アテンションの監視と正規化タイプ（GN 対 BN）の選択が、ACNeの性能に与える影響は何か？

主な発見

• Saint Peter’s Square シーケンスにおいて、20°の誤差でmAPが0.602を達成し、SIFT特徴量を用いた場合にCNe (0.414) や OANet (0.488) を顕著に上回った。
• SuperPoint特徴量を用いた場合、mAPは0.637に達し、OANet (0.547) や MAGSAC (0.230) を上回り、特徴量タイプに依存しない強力な一般化性能を示した。
• 比率テストおよび双方向チェックを適用したOutdoorsシーケンスにおいて、RANSAC や MAGSAC よりそれぞれ79.2%、92.0%の性能向上を達成した。
• アブレーションスタディの結果、局所的およびグローバルアテンションの併用が最良の性能をもたらし、単独のグローバルアテンションに比べ1.6%の向上が確認された。
• 局所的アテンションの監視を施すことでさらに性能が向上した。これは、学習可能なアテンションが、無教師または固定重み付けよりも優れていることを示している。
• ACNeはあまりに優れた一般化性能を示しており、従来の手法とは異なり、ロバスト推定器による後処理を一切必要としない。