[논문 리뷰] Sparsest Continuous Piecewise-Linear Representation of Data

Thomas Debarre, Quentin Denoyelle외 2명|arXiv (Cornell University)|2020. 03. 23.

Advanced Numerical Analysis Techniques참고 문헌 93인용 수 6

한 줄 요약

이 논문은 1차원 데이터의 희박한 연속(piecewise) 선형 표현을 찾기 위한 이단계 알고리즘을 제안한다. 이는 두 번째 도함수에 대한 총 변동성 정규화를 사용한다. 제약 최적화 프레임워크를 통해 정확한 보간 문제와 처벌 보간 문제 모두가 희박한 해를 제공함을 입증하며, 이는 최소한의 끝점 수를 갖는 piecewise-linear 피팅을 효율적으로 식별할 수 있도록 한다.

ABSTRACT

We study the problem of interpolating one-dimensional data with total variation regularization on the second derivative, which is known to promote piecewise-linear solutions with few knots. In a first scenario, we consider the problem of exact interpolation. We thoroughly describe the form of the solutions of the underlying constrained optimization problem, including the sparsest piecewise-linear solutions, i.e., with the minimum number of knots. Next, we relax the exact interpolation requirement, and consider a penalized optimization problem with a strictly convex data-fidelity cost function. We show that the underlying penalized problem can be reformulated as a constrained problem, and thus that all our previous results still apply. We propose a simple and fast two-step algorithm to reach a sparsest solution of this constrained problem.

연구 동기 및 목표

• 1차원 데이터 보간을 위한 희박한 연속(piecewise) 선형 해의 구조를 규명하는 것.
• 두 번째 도함수에 대한 총 변동성 정규화에서 발생하는 제약 최적화 문제를 분석하는 것.
• 정확한 보간 결과를 엄격한 강 convex 데이터 적합성 조건을 갖는 처벌 문제로 확장하는 것.
• 희박한 가능한 piecewise-linear 피팅을 달성하는 단순하고 빠른 알고리즘을 개발하는 것.

제안 방법

• 두 번째 도함수에 대한 총 변동성 정규화를 포함한 제약 최적화 문제로 보간 문제를 수립한다.
• 최적 해가 최소한의 끝점 수를 갖는다는 것을 증명하며, 이는 희박한 piecewise-linear 표현에 해당한다.
• 엄격한 강 convex 데이터 적합성 조건을 갖는 처벌 문제를 등가의 제약 문제로 재구성한다.
• 이중 단계 알고리즘을 제안한다: 먼저 제약 문제를 풀고, 그 다음 희박성 확보를 위해 정밀 조정한다.
• 처벌 및 제약 공식화 간의 등가성을 활용하여 해의 구조적 특성을 유지한다.
• 변분 분석을 사용하여 최적 해에서의 끝점 위치와 piecewise-linear 세그먼트를 특성화한다.

실험 결과

연구 질문

• RQ1 주어진 1차원 데이터를 보간하는 희박한 연속(piecewise) 선형 함수의 구조는 무엇인가?
• RQ2 두 번째 도함수에 대한 총 변동성 정규화는 끝점 수의 희박성에 어떻게 영향을 주는가?
• RQ3 엄격한 강 convex 데이터 적합성 조건을 갖는 처벌 문제를 제약 문제로 재구성할 수 있는가? 이 경우 희박성 보장이 유지되는가?
• RQ4 실제로 희박한 해를 효율적으로 계산할 수 있는 알고리즘적 접근은 무엇인가?

주요 결과

• 희박한 piecewise-linear 해는 정확한 보간 제약 조건 하에서 두 번째 도함수의 총 변동성 최소화자에 해당한다.
• 엄격한 강 convex 데이터 적합성 조건을 갖는 처벌 문제는 등가의 제약 문제로 재구성되며, 동일한 해 구조를 유지한다.
• 제약 공식화에 대한 등가성을 활용하여 효율적으로 최소한의 해를 계산하는 이중 단계 알고리즘을 제안한다.
• 이 방법은 piecewise-linear 표현에서 최소한의 끝점 수를 보장하여 최적의 희박성을 확보한다.