[논문 리뷰] The Landscape of Non-convex Empirical Risk with Degenerate Population Risk

Shuang Li, Gongguo Tang외 1명|arXiv (Cornell University)|2019. 07. 11.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 인구 위험의 헤시안에 영제값이 존재하는 퇱성된 설정에서 비볼록 경험 위험의 구조를 분석하기 위한 새로운 프레임워크를 제안한다. 강한 모스 조건을 요구하지 않고도 경험 위험과 인구 위험의 임계점 간의 직접적 연관성을 확립함으로써, 더 단순한 인구 위험 분석을 통해 경험 위험의 구조를 견고하게 추론할 수 있게 한다. 이는 행렬 감지 및 단서 복원 문제에서 입증되었다.

ABSTRACT

The landscape of empirical risk has been widely studied in a series of machine learning problems, including low-rank matrix factorization, matrix sensing, matrix completion, and phase retrieval. In this work, we focus on the situation where the corresponding population risk is a degenerate non-convex loss function, namely, the Hessian of the population risk can have zero eigenvalues. Instead of analyzing the non-convex empirical risk directly, we first study the landscape of the corresponding population risk, which is usually easier to characterize, and then build a connection between the landscape of the empirical risk and its population risk. In particular, we establish a correspondence between the critical points of the empirical risk and its population risk without the strongly Morse assumption, which is required in existing literature but not satisfied in degenerate scenarios. We also apply the theory to matrix sensing and phase retrieval to demonstrate how to infer the landscape of empirical risk from that of the corresponding population risk.

연구 동기 및 목표

• 인구 위험의 헤시안에 영제값이 존재하는 뚜렷하지 않은 설정에서 비볼록 경험 위험을 분석하는 데 도전하는 것.
• 기존 방법이 강한 모스 조건에 의존하여 뚜렷한 설정에서는 실패하기 때문에, 그 제한을 극복하는 것.
• 강한 모스 조건을 요구하지 않고도 경험 위험과 인구 위험의 임계점 간의 직접적 연관성을 수립하는 것.
• 경험 위험의 구조적 성질을 더 다룰 수 있는 인구 위험의 구조에서 유추할 수 있는 이론적 프레임워크를 제공하는 것.
• 이론을 행렬 감지 및 단서 복원과 같은 구체적 문제에 적용하여 실용적 유용성을 검증하는 것.

제안 방법

• 특히 뚜렷한 경우에서 더 쉽게 기술할 수 있는 인구 위험의 구조를 분석하는 것.
• 강한 모스가 아닌 프레임워크를 사용하여 경험 위험의 임계점과 인구 위험의 임계점 간의 연관성을 수립하는 것.
• 인구 위험의 뚜렷한 헤시안 행렬의 구조적 성질을 활용하여 강한 모스 조건을 피하는 것.
• 편미분과 연속성의 논리를 사용하여 인구 위험의 기하학적 성질을 경험 위험의 기하학적 성질과 연결하는 것.
• 행렬 감지 및 단서 복원 문제에 이 프레임워크를 적용하여 경험 위험의 임계점이 인구 위험의 성질을 상속할 수 있는 조건을 유도하는 것.
• 행렬 감지 및 단서 복원 문제에서 알려진 인구 위험의 구조적 결과를 활용하여 경험 위험의 행동을 유추하는 것.

실험 결과

연구 질문

• RQ1 인구 위험이 뚜렷한 경우(즉, 헤시안에 영제값이 존재하는 경우)에 비볼록 경험 위험의 구조는 어떻게 분석할 수 있는가?
• RQ2 뚜렷한 설정에서 경험 위험의 임계점과 인구 위험의 임계점 간의 관계는 무엇인가?
• RQ3 경험 위험의 구조 분석에서 강한 모스 조건을 완화할 수 있는가, 이로 인해 이론적 엄밀성이 손상되지 않는가?
• RQ4 어떻게 하면 인구 위험의 구조를 활용하여 실질적인 머신러닝 문제에서 경험 위험의 구조적 성질을 추론할 수 있는가?
• RQ5 이 프레임워크는 실세계 문제인 행렬 감지 및 단서 복원 문제에 얼마나 널리 적용 가능한가?

주요 결과

• 논문은 강한 모스 조건을 요구하지 않고도 경험 위험의 임계점과 인구 위험의 임계점 간의 직접적 연관성을 확립하였다.
• 이 프레임워크는 뚜렷한 비볼록 설정에서 더 분석하기 쉬운 인구 위험의 구조에서 경험 위험의 구조적 성질을 추론할 수 있도록 하였다.
• 이 방법은 행렬 감지 및 단서 복원 문제에 성공적으로 적용되어 실용적 관련성과 견고성을 입증하였다.
• 강한 모스 조건을 피했기 때문에, 이 접근법은 이전에는 다룰 수 없었던 더 넓은 범위의 비볼록 문제에 이론적 분석을 확장하였다.
• 결과적으로 경험 위험의 임계점은 헤시안에 영제값이 존재하더라도 인구 위험의 구조적 성질을 상속함을 보여주었다.
• 이 이론은 뚜렷한 비볼록 최적화에서 수렴성과 일반화를 분석할 수 있는 길을 제공하였으며, 이는 일반적이지만 아직 충분히 탐색되지 않은 상황이다.