[논문 리뷰] ACNe: Attentive Context Normalization for Robust Permutation-Equivariant Learning

Weiwei Sun, Wei Jiang외 3명|arXiv (Cornell University)|2019. 07. 04.

Human Pose and Action Recognition참고 문헌 51인용 수 10

한 줄 요약

이 논문은 외곽선을 동적으로 가중하여 이상치를 억제함으로써 순열 등변 네트워크의 성능을 향상시키는 학습 가능한 정규화 기법인 Attentive Context Normalization (ACN)을 제안한다. IRLS(반복적으로 가중치를 조정하는 최소 제곱법)에 영감을 받은 국소 및 전반적 주의 메커니즘을 결합함으로써, ACNe는 높은 이상치 비율 조건에서도 점군 분류, 선형 피팅, 카메라 자세 추정 과제에서 최신 기술(SOTA) 수준의 성능을 달성하며, CNe 및 OANet과 같은 이전 방법들보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

Many problems in computer vision require dealing with sparse, unordered data in the form of point clouds. Permutation-equivariant networks have become a popular solution-they operate on individual data points with simple perceptrons and extract contextual information with global pooling. This can be achieved with a simple normalization of the feature maps, a global operation that is unaffected by the order. In this paper, we propose Attentive Context Normalization (ACN), a simple yet effective technique to build permutation-equivariant networks robust to outliers. Specifically, we show how to normalize the feature maps with weights that are estimated within the network, excluding outliers from this normalization. We use this mechanism to leverage two types of attention: local and global-by combining them, our method is able to find the essential data points in high-dimensional space to solve a given task. We demonstrate through extensive experiments that our approach, which we call Attentive Context Networks (ACNe), provides a significant leap in performance compared to the state-of-the-art on camera pose estimation, robust fitting, and point cloud classification under noise and outliers. Source code: https://github.com/vcg-uvic/acne.

연구 동기 및 목표

• 희소하고 순서가 없는 점군 데이터에서 기존의 순열 등변 네트워크가 이상치에 취약한 문제를 해결하기 위해.
• 이상치 비율이 80%를 초과하는 과제들, 예를 들어 넓은 기준 기반 스테레오, 3차원 객체 분류, 선형 피팅에서의 강건성을 향상시키기 위해.
• 네트워크 내에서 주의 가중치를 추정함으로써 내재된 점들에 초점을 맞추는 정규화 메커니즘을 개발하기 위해.
• 노이즈 조건 하에서 정확도와 일반화 능력 측면에서 기존 방법들인 Context Normalization (CN) 및 OANet을 뛰어넘기 위해.
• 종합적인 학습된 주의 메커니즘이 가중치를 부여한 해법기구와 함께 사용될 경우, RANSAC이나 MAGSAC과 같은 전통적인 강건 추정기보다도 뛰어난 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 학습 가능한 정규화 레이어인 Attentive Context Normalization (ACN)을 제안하며, 별도의 퍼셉트론을 통해 추정된 주의 가중치를 사용해 특징 정규화를 계산한다.
• 국소 주의와 전반적 주의라는 두 가지 주의 메커니즘을 도입하여, 개별 점의 중요도와 점군의 전반적 맥락을 각각 평가한다.
• IRLS에 유사한 미분 가능하고 부드러운 내재점 할당 방식을 사용하며, 주의 가중치를 반복적으로 갱신하여 이상치의 영향을 줄인다.
• 국소 주의와 전반적 주의를 요소별 곱셈으로 조합함으로써, 고차원 공간에서 점점 더 내재점 영역에 초점을 맞출 수 있도록 한다.
• 정규화된 특징를 가중치를 부여한 8점 알고리즘에 적용하여 카메라 자세 추정을 수행함으로써, 후처리 단계에서의 강건 추정기 필요성을 피한다.
• 국소 주의 가중치에 대한 지도 학습을 통해 주의 메커니즘을 종단 간(end-to-end)으로 훈련함으로써, 특징 표현력과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 학습 가능한 정규화 메커니즘이 높은 이상치 비율 조건에서 순열 등변 네트워크의 강건성을 향상시킬 수 있는가?
• RQ2 국소 및 전반적 주의 메커니즘을 조합함으로써 점군 과제에서 특징 표현력이 어떻게 향상되는가?
• RQ3 ACNe가 이상치가 많은 어려운 상황에서 CNe 및 OANet과 같은 최신 기술(SOTA) 방법들을 뛰어넘을 수 있는가?
• RQ4 RANSAC나 MAGSAC과 같은 전통적인 강건 추정기 의존 없이 ACNe가 잘 일반화되는가?
• RQ5 주의 지도 학습과 정규화 유형(GN 대 BN)이 ACNe의 성능에 미치는 영향은 무엇인가?

주요 결과

• Saint Peter’s Square 시퀀스에서 20° 기준으로 평균 정밀도(mAP)가 0.602를 기록하여, SIFT 특징을 사용할 경우 CNe(0.414)와 OANet(0.488)를 크게 앞서며 성능을 뛰어넘었다.
• SuperPoint 특징을 사용할 경우 ACNe는 mAP 0.637을 기록하여 OANet(0.547)과 MAGSAC(0.230)를 모두 뛰어넘었으며, 다양한 특징 유형 간 강력한 일반화 능력을 입증했다.
• 비율 테스트 및 이중 검사 조건을 적용했을 때 Outdoors 시퀀스에서 ACNe는 RANSAC보다 79.2%, MAGSAC보다 92.0% 높은 성능을 기록했다.
• 제거 실험 결과, 국소 및 전반적 주의의 조합이 가장 뛰어난 성능을 내며, 오직 전반적 주의만 사용할 경우 대비 1.6% 향상된 것으로 확인되었다.
• 국소 주의 구성 요소에 대한 지도 학습을 추가함으로써 성능이 더욱 향상되었으며, 이는 학습된 주의가 비지도 또는 고정 가중치보다 더 효과적임을 시사한다.
• ACNe는 너무나도 잘 일반화되어 있어, 기존 방법들과 달리 강건 추정기의 후처리 없이도 최적의 성능을 달성할 수 있었다.