[논문 리뷰] Outlier-Robust Estimation: Hardness, Minimally Tuned Algorithms, and Applications

Pasquale Antonante, Vasileios Tzoumas외 2명|arXiv (Cornell University)|2020. 07. 29.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 이상치에 강건한 추정을 위한 두 가지 통합적 공식화인 일반화된 최대 일致성(G-MC)과 일반화된 절단된 최소 제곱법(G-TLS)을 제안하고, 이상치에 강건한 추정이 최악의 경우에 근사가 불가능하다는 것을 증명한다. 이는 센서 노이즈나 잘못된 매칭으로 인해 자주 이상치에 오염되는 데이터 연결 문제를 해결하기 위한 기본적인 과제를 다루며, 사전에 노이즈 통계나 사용자 지정 임계값을 요구하지 않는 최소한의 튜닝 알고리즘인 ADAPT와 GNC를 제안한다. 이 알고리즘들은 로봇 공학 응용 분야인 메쉬 정렬, 형태 정렬, 자세 그래프 최적화에서 이상치 비율이 80–90%에 이르는 실시간 성능과 강건성을 달성한다.

ABSTRACT

Nonlinear estimation in robotics and vision is typically plagued with outliers due to wrong data association, or to incorrect detections from signal processing and machine learning methods. This paper introduces two unifying formulations for outlier-robust estimation, Generalized Maximum Consensus (G-MC) and Generalized Truncated Least Squares (G-TLS), and investigates fundamental limits, practical algorithms, and applications. Our first contribution is a proof that outlier-robust estimation is inapproximable: in the worst case, it is impossible to (even approximately) find the set of outliers, even with slower-than-polynomial-time algorithms (particularly, algorithms running in quasi-polynomial time). As a second contribution, we review and extend two general-purpose algorithms. The first, Adaptive Trimming (ADAPT), is combinatorial, and is suitable for G-MC; the second, Graduated Non-Convexity (GNC), is based on homotopy methods, and is suitable for G-TLS. We extend ADAPT and GNC to the case where the user does not have prior knowledge of the inlier-noise statistics (or the statistics may vary over time) and is unable to guess a reasonable threshold to separate inliers from outliers (as the one commonly used in RANSAC). We propose the first minimally tuned algorithms for outlier rejection, that dynamically decide how to separate inliers from outliers. Our third contribution is an evaluation of the proposed algorithms on robot perception problems: mesh registration, image-based object detection (shape alignment), and pose graph optimization. ADAPT and GNC execute in real-time, are deterministic, outperform RANSAC, and are robust up to 80-90% outliers. Their minimally tuned versions also compare favorably with the state of the art, even though they do not rely on a noise bound for the inliers.

연구 동기 및 목표

• 센서 노이즈나 잘못된 매칭으로 인해 자주 이상치에 오염되는 데이터 연결 문제로 인해 발생하는 로봇 공학 및 시각 분야에서 이상치에 강건한 추정의 근본적인 과제를 해결한다.
• 이상치에 강건한 추정의 계산적 난이도를 조사하여, 준다항식 시간 알고리즘을 사용하더라도 근사가 불가능하다는 것을 증명한다.
• 이상치 노이즈 통계나 사용자 지정 임계값에 대한 사전 지식이 필요 없는 최소한의 튜닝 알고리즘을 개발하여 다양한 로봇 공학 응용 분야에서 강건한 성능을 달성한다.
• 실세계 인식 작업에서 제안된 알고리즘을 평가하여 RANSAC 및 DCS와 같은 최신 기법들보다 뛰어난 성능과 강건성을 입증한다.

제안 방법

• 이상치 거부를 위한 희박한 이상치 처리를 위한 일반화된 최대 일치(G-MC)와 연속적인 이상치 처리를 위한 일반화된 절단된 최소 제곱법(G-TLS)이라는 두 가지 통합 공식화를 도입한다.
• G-MC 문제를 해결하기 위해 반복적으로 가장 일치하지 않는 측정치를 식별하고 제거하는 적응형 절단 기반의 조합 알고리즘인 ADAPT를 제안한다.
• G-TLS를 위한 히드로피 기반 방법인 GNC(Graduated Non-Convexity)를 제안하며, 비볼록 하위문제의 시퀀스를 통해 비용 함수의 형태를 점진적으로 수정함으로써 강건성을 점차 강화한다.
• 잔차 분포에 대한 크라머-폼 민스 검정과 같은 통계적 검정을 동적으로 이용하여 이상치 임계값을 추정하는 최소한의 튜닝 변형인 ADAPT-MinT와 GNC-MinT를 설계한다.
• ADAPT-MinT에 내장된 클러스터링 분리 서브루틴은 정렬된 잔차의 지름을 사용하여 이상치와 이상치가 아닌 측정치 간의 자연스러운 분리를 탐지한다.
• GNC-MinT에서 카이제곱 적합도 검정(Chi2Fit)을 사용하여 제곱 잔차가 가정된 이상치 모델 하에서 기대되는 카이제곱 분포와 일치하는지 평가함으로써 자동으로 임계값을 선택할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 이상치에 강건한 추정의 근본적인 계산적 한계는 무엇이며, 다항식 또는 준다항식 시간 알고리즘을 사용해도 최적의 이상치 집합을 근사할 수 있을까?
• RQ2 이상치 노이즈 통계나 사용자 지정 임계값에 대한 사전 지식이 필요 없는 일반적인 목적의 알고리즘을 설계할 수 있을까?
• RQ3 실세계 로봇 공학 응용 분야에서 RANSAC 및 DCS와 같은 최신 기법들과 비교해 볼 때, ADAPT와 GNC의 최소한의 튜닝 변형은 어떻게 성능을 발휘하는가?
• RQ4 ADAPT와 GNC는 정확도와 실시간 성능를 유지하면서 이상치 비율이 높은 경우(예: 80–90%)까지 얼마나 잘 처리할 수 있는가?
• RQ5 다양한 인식 작업에서 이상치 비율이 변화하는 상황에서 제안된 알고리즘은 진짜 양성과 가짜 양성 이상치 탐지 비율을 어떻게 균형 잡고 있는가?

주요 결과

• 이 논문은 이상치에 강건한 추정이 최악의 경우에 조차 근사가 불가능하다는 것을 증명하며, 이는 근본적인 계산 난이도의 한계를 설정한다.
• ADAPT와 GNC는 모든 평가된 작업에서 실시간 성능을 달성하고 RANSAC를 능가하며, 메쉬 정렬, 형태 정렬, 자세 그래프 최적화에서 이상치 비율이 80–90%에 이르는 상황에서도 강건성을 유지한다.
• 최소한의 튜닝 변형인 ADAPT-MinT와 GNC-MinT는 사용자 정의 노이즈 범위나 커널 크기가 필요 없이 경쟁 가능한 성능을 달성하며, 일부 설정에서는 튜닝된 기준보다도 뛰어난 성능을 보인다.
• GNC와 GNC-MinT는 대부분의 데이터셋에서 90% 이상의 높은 진짜 양성 비율과 10–20% 이하의 낮은 가짜 양성 비율을 달성하며, 고이상치 환경에서 약간의 성능 저하 외에는 거의 영향을 받지 않는다.
• CSAIL 및 Garage 3D SLAM 데이터셋에서 GNC-MinT는 이상치 비율이 90%에 이르는 상황에서도 높은 정확도를 유지하며, 강력한 내성과 최소한의 튜닝을 입증한다.
• GNC-MinT에서 사용된 Chi2Fit 검정은 잔차 제곱 크기를 기대되는 카이제곱 분포와 비교함으로써 이상치 분포를 성공적으로 식별하며, 사전 지식 없이도 자동으로 임계값을 설정할 수 있도록 한다.