[논문 리뷰] Global optimization for low-dimensional switching linear regression and bounded-error estimation

Fabien Lauer|arXiv (Cornell University)|2017. 07. 18.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 11

한 줄 요약

이 논문은 저차원 스위칭 선형 회귀와 유한오차 추정에 대한 전역 최적화를 위한 브랜치 앤 바운드 알고리즘을 제안하며, 인증된 전역 최적성 보장을 갖춘 연속적 매개변수 최적화를 사용한다. 이는 대규모 데이터셋에서도 높은 정확도와 확장성을 달성하며, 수천 개의 점을 몇 초 내에 해결하여 볼록 리 릴랙세이션 및 히وري스틱 방법보다 뛰어나며, 특히 희박한 대량 오차나 높은 이상치 비율 상황에서 유리하다.

ABSTRACT

The paper provides global optimization algorithms for two particularly difficult nonconvex problems raised by hybrid system identification: switching linear regression and bounded-error estimation. While most works focus on local optimization heuristics without global optimality guarantees or with guarantees valid only under restrictive conditions, the proposed approach always yields a solution with a certificate of global optimality. This approach relies on a branch-and-bound strategy for which we devise lower bounds that can be efficiently computed. In order to obtain scalable algorithms with respect to the number of data, we directly optimize the model parameters in a continuous optimization setting without involving integer variables. Numerical experiments show that the proposed algorithms offer a higher accuracy than convex relaxations with a reasonable computational burden for hybrid system identification. In addition, we discuss how bounded-error estimation is related to robust estimation in the presence of outliers and exact recovery under sparse noise, for which we also obtain promising numerical results.

연구 동기 및 목표

• 기존 국소 또는 히وري스틱 방법들이 전역 최적성 보장을 제공하지 못하는 문제를 해결한다.
• 수천 개의 데이터 포인트를 포함하는 저차원 환경에서 하이브리드 시스템 식별을 위한 확장 가능한 전역 최적화 알고리즘을 개발한다.
• 제한적인 가정이나 정수계획법 재구성에 의존하지 않는 무조건적인 전역 최적성 증명을 제공한다.
• 볼록 리 릴랙세이션의 실패가 발생하는 상황, 즉 희박한 대량 오차나 높은 이상치 비율 상황에서도 강건한 추정을 가능하게 한다.
• NP-난이도 비볼록 문제에서 전역 최적화의 실용적인 계산 효율성을 확보한다.

제안 방법

• 이중 변수나 혼합정수계획법 재구성 없이 연속적 모델 매개변수를 직접 최적화하는 브랜치 앤 바운드 프레임워크를 적용한다.
• 매개변수 공간 내 각 상자(초직육면체)에서 비용 함수에 대한 효율적이고 계산 가능한 하한을 유도한다.
• 하한을 강화하고 수렴 속도를 높이기 위해 일정 분류 기준을 사용한다.
• 비용이 높은 영역을 신속하게 기각하기 위해 단순하고 계산이 빠른 하한을 적용한다.
• 두 가지 손실 함수를 최적화한다: 비볼록인 $\varepsilon$-의존적 $\varepsilon$-손실 ($\ell_{0,\varepsilon}$)과 $\varepsilon$-정규화된 최소제곱 손실 ($\ell_{2,\varepsilon}$).
• 이전 방법들이 데이터 수에 따라 성능이 급격히 떨어지는 것과 달리, 데이터 크기에 대해 확장 가능한 연속 최적화 설정을 유지한다.

실험 결과

연구 질문

• RQ1 제한적인 가정이나 정수계획법 재구성에 의존하지 않고 스위칭 선형 회귀 및 유한오차 추정에 대한 전역 최적화를 달성할 수 있는가?
• RQ2 대규모 데이터셋을 포함한 비볼록 하이브리드 시스템 식별 문제에서 전역 최적성을 어떻게 보장할 수 있는가?
• RQ3 희박한 대량 오차나 높은 이상치 비율 상황에서 제안된 알고리즘이 볼록 리 릴랙세이션 및 히وري스틱 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 저차원, 고데이터 환경에서 전역 최적화의 계산 확장성은 어느 정도인가?
• RQ5 악성 이상치 조건 하에서 제안된 전역 최적화 방법은 $\varepsilon$-노름 히وري스틱과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 전역 최적화 알고리즘은 수천 개의 데이터 포인트를 포함하는 스위칭 선형 회귀 문제를 몇 초 내에 해결하며, 전역 최적성과 함께 증명을 제공한다.
• 유한오차 추정에서 $\varepsilon=1.5\sigma_{\xi}$일 경우, $\varepsilon$-손실 최소화는 오라클에 가까운 정확도를 달성하며, 이상치 비율이 60%를 초과할 경우 $\varepsilon$-노름 히وري스틱을 능가한다.
• $\varepsilon$-손실 방법은 악성 양의 대량 오차(예: $|\xi_i|$) 조건에서도 오라클에 가까운 오차를 유지하지만, $\varepsilon$-노름 히وري스틱은 이상치 비율이 50%를 초과하면 실패한다.
• 선형 모델과 애파인 모델 모두에서 이상치 비율이 최대 98%까지 정확한 복원이 가능하며, $\varepsilon$-노름 히وري스틱은 선형 모델에서는 80%, 애파인 모델에서는 양의 이상치 상황에서 43%에 그친다.
• 계산 시간은 합리적인 수준을 유지한다: 이상치 비율 90% 이하에서는 1초 이내, 98% 이하에서는 10초 이내, 99% 이하에서는 최대 2분(해결책 없음) 이내이다.
• 기존 방법들이 데이터 의존성 또는 노이즈 없는 조건을 필요로 하는 것과 달리, 본 방법은 무조건적인 전역 최적성 보장을 제공한다.