[논문 리뷰] Solving Equations of Random Convex Functions via Anchored Regression

Sohail Bahmani, Justin Romberg|arXiv (Cornell University)|2017. 02. 17.

Sparse and Compressive Sensing Techniques참고 문헌 10인용 수 5

한 줄 요약

이 논문은 자연 매개수 공간 내의 볼록 집합 위에서 선형 함수를 최대화하는(정규화를 추가한) 방법을 통해 볼록 비선형성을 가진 비선형 방정식계를 해결하기 위한 볼록 최적화 방법인 앵커드 리그레션을 제안한다. 이 방법은 비볼록성과 보조 변수를 피함으로써 일반 조건 하에서 오직 M ≈ N개의 방정식만으로도 높은 확률로 진짜 해를 복원하며, 오차 한계는 라데마처 복잡도와 노이즈 수준에 따라 결정된다.

ABSTRACT

We consider the question of estimating a solution to a system of equations that involve convex nonlinearities, a problem that is common in machine learning and signal processing. Because of these nonlinearities, conventional estimators based on empirical risk minimization generally involve solving a non-convex optimization program. We propose anchored regression, a new approach based on convex programming that amounts to maximizing a linear functional (perhaps augmented by a regularizer) over a convex set. The proposed convex program is formulated in the natural space of the problem, and avoids the introduction of auxiliary variables, making it computationally favorable. Working in the native space also provides great flexibility as structural priors (e.g., sparsity) can be seamlessly incorporated. For our analysis, we model the equations as being drawn from a fixed set according to a probability law. Our main results provide guarantees on the accuracy of the estimator in terms of the number of equations we are solving, the amount of noise present, a measure of statistical complexity of the random equations, and the geometry of the regularizer at the true solution. We also provide recipes for constructing the anchor vector (that determines the linear functional to maximize) directly from the observed data.

연구 동기 및 목표

• 기계 학습 및 신호 처리에서 흔한 볼록 비선형성을 가진 비선형 방정식계의 해를 추정하는 문제에 대응하기 위해.
• 기존의 경험 리스크 최소화의 비볼록성 문제를 해결하기 위해 볼록 대체 방법을 도입하기 위해.
• 보조 변수 없이 자연 매개수 공간에서 직접 작동하는 계산적으로 효율적인 추정기 개발을 위해.
• 방정식 수, 노이즈, 비선형 함수의 통계적 복잡도에 따라 추정 정확도에 대한 이론적 보장을 제공하기 위해.
• 스parseness와 같은 구조적 사전 지식을 원래 공간에서의 정규화를 통해 자연스럽게 통합할 수 있도록 하기 위해.

제안 방법

• 관측된 방정식과의 일致성으로 정의된 볼록 집합 위에서 선형 함수(정규화 포함)를 최대화하는 볼록 프로그램으로 앵커드 리그레션을 제안한다.
• 원래 문제의 매개수 공간에 직접 추정기를 수립하여 업그레이드 또는 보조 변수가 필요 없도록 한다.
• 앵커 벡터를 진짜 함수의 해에서의 기울기의 데이터 기반 추정치로 정의하여 진짜 해 방향과의 일치를 보장한다.
• 진짜 해에서의 상승 방향 집합의 라데마처 복잡도를 사용하여 통계적 복잡도를 정량화하고 오차 한계를 유도한다.
• 라데마처 과정을 통한 대칭화 및 압축 추론을 통해 경험 리스크가 기대값에서 벗어나지 않도록 제어한다.
• 유사도 오차의 고확률 한계를 유클리드 거리 기반으로 도출하며, 이는 노이즈, 방정식 수, 정규화의 기하학적 성질에 따라 달라진다.

실험 결과

연구 질문

• RQ1 비볼록성이나 보조 변수 없이도 볼록 비선형성을 가진 비선형 방정식계를 해결할 수 있는 볼록 최적화 프레임워크를 설계할 수 있는가?
• RQ2 비선형 함수와 방정식 수에 어떤 조건이 성립하면 진짜 해가 일관되게 복원되는가?
• RQ3 이 설정에서 상승 방향 집합의 라데마처 복잡도는 추정 오차에 어떤 영향을 미치는가?
• RQ4 스parseness와 같은 구조적 사전 지식은 문제의 볼록성을 유지하면서 자연스럽게 이 프레임워크에 통합될 수 있는가?
• RQ5 비선형성이 일반적인 볼록 함수일 경우 정확한 복원을 위해 필요한 최소 방정식 수는 얼마인가?

주요 결과

• 제안된 앵커드 리그레션 추정기는 매개수 공간의 차원 N과 비슷한 수준의 M개의 방정식이 존재할 경우 높은 확률로 진짜 해를 복원한다.
• 추정 오차는 평균 노이즈 수준에 비례하는 항과 정규화 펜alties에 의존하며, 기울기 방향이 상승 방향과 일치할 확률이 높을수록 오차 한계가 감소한다.
• 오차 한계는 진짜 해에서의 상승 방향 집합의 라데마처 복잡도에 따라 결정되며, 이는 비선형 함수의 통계적 복잡도를 정량화한다.
• 충분히 다양한 기울기를 가진 일반적인 볼록 함수에 대해서는 M ≈ N개의 방정식으로도 해를 복원할 수 있으며, 이는 거의 최적의 표본 복잡도를 보여준다.
• 앵커 벡터는 관측 데이터로부터 직접 구성 가능하므로, 완전히 데이터 기반이며 계산적으로 해석 가능한 구현이 가능하다.
• 방정식 수에 따라 유리하게 스케일링되는 오차 한계를 달성하며, 수렴 속도는 정규화의 기하학적 성질과 노이즈 수준에 따라 달라진다.