[논문 리뷰] Towards the optimal construction of a loss function without spurious local minima for solving quadratic equations

Zhenzhen Li, Jian‐Feng Cai외 1명|arXiv (Cornell University)|2018. 09. 27.

Advanced X-ray Imaging Techniques참고 문헌 37인용 수 4

한 줄 요약

이 논문은 부작용이 없는 국소 최솟값을 갖는 시스템의 이차 방정식을 해결하기 위해 부드러운 이차 손실 함수와 활성화 함수를 조합한 새로운 손실 함수를 제안한다. 가우시안 측정값 하에서, 높은 확률로 진짜 해가 전역 단위 인자( global phase)를 제외하고 유일한 국소 최솟값이 되며, 안장점은 항상 음의 곡률을 가지므로 내림내림 알고리즘의 전역 수렴이 보장된다. $ m \gtrsim n $ 일 때 성립한다.

ABSTRACT

The problem of finding a vector $x$ which obeys a set of quadratic equations $|a_k^ op x|^2=y_k$, $k=1,\cdots,m$, plays an important role in many applications. In this paper we consider the case when both $x$ and $a_k$ are real-valued vectors of length $n$. A new loss function is constructed for this problem, which combines the smooth quadratic loss function with an activation function. Under the Gaussian measurement model, we establish that with high probability the target solution $x$ is the unique local minimizer (up to a global phase factor) of the new loss function provided $m\gtrsim n$. Moreover, the loss function always has a negative directional curvature around its saddle points.

연구 동기 및 목표

• 실수 이차 방정식 $ |\bm{a}_k^\top\bm{x}|^2 = y_k $ 를 해결하기 위한 손실 함수를 구성하여 임의의 부작용 국소 최솟값을 피하기 위해.
• 최소한의 샘플링 복잡도, 특히 $ m \gtrsim n $ 를 달성하여 정보 이론적 하한선과 일치시키기 위해.
• 가우시안 측정 모델 하에서 진짜 해 $ \bm{x} $ 가 전역 단위 인자( global phase)를 제외하고 유일한 전역 최솟값임을 보장하기 위해.
• 손실 함수의 모든 안장점이 음의 방향 곡률을 가지며, 이는 내림내림 방법을 통한 전역 최솟값 수렴을 가능하게 함을 확립하기 위해.

제안 방법

• 부드러운 이차 손실과 신중히 선택한 활성화 함수를 조합하여 복합 손실 함수를 설계하여 기하적 구조를 정규화하기 위해.
• 관측값과 기대값의 비율에 따라 의존하는 정규화된 활성화 함수 $ h(\cdot) $ 를 도입하여 기하적 성질을 향상시키기 위해.
• 집중 부등식과 모멘트 유계( Lemma 3.6를 통해)를 사용하여 진짜 해와 안장점 주변에서 헤시안과 기울기 항의 행동을 통제하기 위해.
• 비판점에서 손실 함수의 헤시안을 분석하여, 안장점에서 가장 작은 고유값이 음수임을 증명함으로써 비전역 최솟값에서의 탈출을 보장하기 위해.
• 가우시안 랜덤 행렬 이론을 활용하여 $ m \gtrsim n $ 일 때 높은 확률로 손실 함수의 기하학적 성질이 잘 유지됨을 보여주기 위해.
• 꼬리 추정과 지수 감쇠 항(예: $ \sqrt{\beta}e^{-0.49\beta} $)을 사용하여 헤시안 성분의 경계를 설정하여 $ \beta \to \infty $ 일 때 이 항들이 사라짐을 보여주기 위해.

실험 결과

연구 질문

• RQ1 비볼록 손실 함수를 구성할 수 있을까? 이때 진짜 해가 $ m \gtrsim n $ 일 때 전역 단위 인자( global phase)를 제외하고 유일한 국소 최솟값이 되는가?
• RQ2 제안된 손실 함수는 가우시안 측정 모델 하에서 부작용 최솟값을 제거하는가?
• RQ3 손실 함수의 모든 안장점이 음의 방향 곡률을 가지는가? 이는 내림내림 알고리즘의 전역 수렴을 가능하게 하는가?
• RQ4 집중의 측정과 모멘트 유계를 사용하여 손실 함수의 기하적 성질을 엄밀히 분석할 수 있는가?

주요 결과

• 높은 확률로 $ m \gtrsim n $ 일 때 진짜 해 $ \bm{x} $ 는 제안된 손실 함수의 전역 단위 인자( global phase)를 제외한 유일한 국소 최솟값이 된다.
• 가우시안 측정 모델 하에서 $ m \gtrsim n $ 일 때 손실 함수는 부작용 최솟값이 없으며, 이는 이전 결과에서 요구하던 $ m \gtrsim n\log^3 n $ 보다 향상된 결과이다.
• 손실 함수의 모든 안장점은 음의 방향 곡률을 가지며, 이는 안장점을 피하는 내림내림 알고리즘이 전역 최솟값으로 수렴함을 보장한다.
• 임의의 비판점에서 손실 함수의 헤시안은 음수 고유값을 가지며, 이는 $ \sqrt{\beta}e^{-0.49\beta} $ 를 포함한 집중 유계와 모멘트 추정을 통해 증명된다.
• 분석 결과 손실 함수의 곡률는 잘 제어되며, 헤시안 성분의 경계는 신호 대 잡음비 $ \beta $ 에 대해 지수적으로 감쇠함을 보여준다.
• 이 방법은 최적의 샘플링 복잡도를 달성하여 정보 이론적 하한선 $ m \gtrsim n $ 와 일치하며, 경계 내의 $ \epsilon $-항들을 통해 작은 편향에 대해 강건함을 보인다.