[논문 리뷰] L1-Optimal Splines for Outlier Rejection

Masaaki Nagahara, Clyde F. Martin|arXiv (Cornell University)|2013. 08. 02.

Mathematical Approximation and Integration참고 문헌 14인용 수 5

한 줄 요약

이 논문은 데이터 피팅에서 강력한 이방치 제거를 위해 L¹-최적 제어 이론적 스플라인을 제안한다. 기존의 L² 최적화를 대체하여 L¹ 기반의 회귀를 사용함으로써 무거운 尾비분포를 가진 잡음에 더 강건한 성능을 달성한다. 스플라인 추정을 서포트 벡터 회귀에서 영감을 얻은 볼록 최적화 문제로 공식화함으로써, 이방치에 대한 높은 저항성을 확보하였으며, 이는 수치 예제를 통해 입증되었다. 이방치가 존재하는 상황에서 L¹ 최적화 스플라인이 L² 최적화 스플라인보다 우수한 성능을 보였다.

ABSTRACT

In this article, we consider control theoretic splines with L1 optimization for rejecting outliers in data. Control theoretic splines are either interpolating or smoothing splines, depending on a cost function with a constraint defined by linear differential equations. Control theoretic splines are effective for Gaussian noise in data since the estimation is based on L2 optimization. However, in practice, there may be outliers in data, which may occur with vanishingly small probability under the Gaussian assumption of noise, to which L2-optimized spline regression may be very sensitive. To achieve robustness against outliers, we propose to use L1 optimality, which is also used in support vector regression. A numerical example shows the effectiveness of the proposed method.

연구 동기 및 목표

• 기존의 L² 최적화 스플라인의 이방치에 대한 민감성 문제를 해결하기 위해.
• 특히 라플라스 분포와 같은 중미비분포를 포함한 비정규 잡음 하에서 스플라인 회귀의 강건성을 향상시키기 위해.
• 더 강력한 이방치 저항성을 확보하기 위해 L¹ 최적화를 활용한 제어 이론적 스플라인 프레임워크를 개발하기 위해.
• 서포트 벡터 회귀와 유사한 방식으로 볼록 최적화를 통해 수치적으로 해석 가능한 해를 제공하기 위해.

제안 방법

• 표준 L² 노름 대신 잔차에 대한 L¹ 노름을 사용하여 스플라인 추정을 볼록 최적화 문제로 공식화한다.
• 서포트 벡터 회귀에서 영감을 얻어, 중미비분포를 모델링하기 위해 ε-감도 손실 함수를 도입한다.
• 비용 함수를 계수 벡터의 L² 노름과 ε-감도 손실의 합의 상호 간의 트레이드오프로 정의한다.
• 제어 입력을 시스템의 임펄스 응답에서 유도된 기저 함수의 선형 조합으로 표현한다.
• 예측 오차에 대한 ε-감도 경계를 강제하는 제약 조건을 포함하여, 표준 볼록 최적화 기법을 사용해 최종 최적화 문제를 해결한다.
• 기저 함수 간 내적을 코딩하기 위해 그람형 행렬 G를 사용하여 최적의 계수를 효율적으로 계산할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 L¹ 최적화는 이방치 존재 시 제어 이론적 스플라인의 강건성을 향상시킬 수 있는가?
• RQ2 이방치가 데이터에 존재할 경우, L¹ 기반 스플라인 회귀는 전통적인 L² 기반 회귀보다 어떻게 다를까?
• RQ3 ε-감도 손실 함수의 사용은 스플라인 피팅의 안정성과 정확성에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 볼록 최적화 기법을 통해 효율적으로 해결될 수 있는가?

주요 결과

• 제안된 L¹-최적 스플라인 방법은 수치 예제에서 L² 최적화 스플라인에 비해 이방치에 대해 훨씬 낮은 민감성을 보였다.
• t₇ = 1.6에 단일 이방치가 존재하는 상황에서, L² 최적화 스플라인은 큰 회귀 오차를 발생시켰지만, L¹ 최적화 스플라인은 진짜 기저 곡선에 가까운 피팅을 유지하였다.
• 오염된 데이터가 존재하는 상황에서도, L¹ 최적화 스플라인은 진짜 신호 y(t) = sin(2t)의 더 부드럽고 정확한 재구성 성능을 달성하였다.
• L¹ 최적화 방법의 회귀 오차는 이방치 위치 근처를 포함해 모든 데이터 포인트에서 낮고 안정적인 수준을 유지하였다.