[논문 리뷰] Robust approximate linear regression without correspondence

Amin Nejatbakhsh, Erdem Varol|arXiv (Cornell University)|2019. 06. 01.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 3

한 줄 요약

이 논문은 원천 및 대상 점 집합에 모두 이상치점과 부재하는 대응관계가 존재할 때 선형 회귀 계수를 추정하기 위한 프레임워크인 비대칭 없는 회귀(robust regression without correspondence, rRWOC)를 소개한다. 노이즈가 없는 1차원 케이스에서는 정확한 복원을 달성하고, 노이즈가 있거나 다차원 설정에서는 근사적 복원을 달성하기 위해 RANSAC 및 허그리안 알고리즘 기반 할당을 사용하는 랜덤 알고리즘을 제안한다. 이는 이론적 보장과 함께 C. elegans 신경세포 매칭에 대한 검증을 포함한다.

ABSTRACT

We propose methods for estimating correspondence between two point sets under the presence of outliers in both the source and target sets. The proposed algorithms expand upon the theory of the regression without correspondence problem to estimate transformation coefficients using unordered multisets of covariates and responses. Previous theoretical analysis of the problem has been done in a setting where the responses are a complete permutation of the regressed covariates. This paper expands the problem setting by analyzing the cases where only a subset of the responses is a permutation of the regressed covariates in addition to some covariates being outliers. We term this problem extit{robust regression without correspondence} and provide several algorithms based on random sample consensus for exact and approximate recovery in a noiseless and noisy one-dimensional setting as well as an approximation algorithm for multiple dimensions. The theoretical guarantees of the algorithms are verified in simulated data. We demonstrate an important computational neuroscience application of the proposed framework by demonstrating its effectiveness in a extit{Caenorhabditis elegans} neuron matching problem where the presence of outliers in both the source and target nematodes is a natural tendency.

연구 동기 및 목표

• 생물 영상에서 흔한 문제이지만 원천 및 반응 변수에 모두 이상치점과 누락된 대응관계가 존재하는 상황에서 비대칭 없는 선형 회귀 문제를 해결한다.
• 기존의 완전한 순열만을 가정하는 연구를 넘어서, 불완전하고 손상된 데이터를 모델링함으로써 비대칭 없는 회귀 연구를 확장한다.
• 노이즈가 있거나 고차원 설정에서 정확한 복원 및 근사적 복원을 위한 효율적이고 증명 가능한 정확도를 갖춘 알고리즘을 개발한다.
• 실제 생물학적 문제인 C. elegans 개체 간 신경세포 매칭 문제에 대해 본 방법의 효과성을 입증한다.

제안 방법

• 완전한 순열을 가정하는 기존 연구를 넘어서, 부재하는 대응관계와 이상치점을 명시적으로 모델링하는 rRWOC 문제 정식화를 도입한다.
• 모든 가능한 내성 쌍을 테스트하고 허그리안 알고리즘을 사용해 할당을 검증함으로써, 1차원 노이즈 없는 rRWOC에서 정확한 복원을 위한 다항식 시간 알고리즘을 제안한다.
• RANSAC 유사 샘플링을 통해 점 쌍에서 유도된 후보 회귀 계수를 테스트하고, 할당 비용 기반으로 가장 큰 내성 집합을 제공하는 계수를 선택한다.
• 재구성된 원천 변수와 반응 변수 간 최적의 할당을 계산하기 위해 허그리안 알고리즘을 적용하고, 임계값을 적용한 내성 수를 사용해 올바른 계수를 식별한다.
• 노이즈가 있는 설정에서 잘못된 계수 추정과 올바른 계수 추정을 구별하기 위해, 점 간 거리 기반으로 마진 ν를 정의한다.
• 노이즈 분산에 대한 통계적 경계를 사용해, 올바른 계수 추정이 잘못된 것보다 유의미하게 더 많은 내성을 확보할 확률이 높다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 원천 및 대상 집합에 이상치점과 누락된 대응관계가 존재할 때, 1차원 rRWOC에서 정확한 회귀 계수 복원이 가능할 수 있는가?
• RQ2 노이즈가 있거나 다차원 rRWOC에서 근사적 복원을 위한 효율적이고 랜덤화된 알고리즘을 어떻게 설계할 수 있는가?
• RQ3 노이즈와 불완전한 대응관계 하에서 계수 복원에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 고 이상치율이 존재하는 실제 응용, 예를 들어 C. elegans 신경세포 매칭에서 기존 방법보다 본 방법이 우월한 성능을 보일 수 있는가?

주요 결과

• 제안된 알고리즘은 데이터 분리에 대한 온건한 가정 하에 1차원 노이즈 없는 rRWOC 설정에서 진짜 회귀 계수를 정확히 복원한다.
• 노이즈가 있는 설정에서는 신호 대 잡음 비율이 충분히 높을 경우, 분산과 내성 수의 경계를 통해 진짜 계수를 높은 확률로 복원한다.
• 진짜 계수 추정과 잘못된 계수 추정을 신뢰성 있게 구별할 수 있도록, 진짜 계수에 의해 스케일링된 서로 다른 데이터 포인트 간 최소 절대 차이의 절반으로 정의된 마진 ν를 사용한다.
• 이론적 분석 결과, 올바른 계수 추정은 최소 m−k개의 내성(여기서 k는 이상치 수)을 제공하는 반면, 잘못된 추정은 이를 상회하지 않으며, 이는 내성 수의 기반으로 식별 가능하다.
• 내성 수 기반의 조기 종료와 랜덤 샘플링 덕분에 고차원에서 브루트 포스 방법에 비해 계산적으로 효율적이다.
• 시뮬레이션 데이터에 대한 실증적 검증을 통해 이론적 보장을 확인하였고, 고 이상치율에도 불구하고 C. elegans의 신경세포 매칭에 대해 높은 정확도로 성공적으로 적용하였다.