[논문 리뷰] Implicit Regularization in Matrix Sensing: A Geometric View Leads to Stronger Results.

Armin Eftekhari, Konstantinos C. Zygalakis|arXiv (Cornell University)|2020. 08. 27.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 타당성 갭 상의 기울기 유동이 명시적 펜alties 없이도 행렬 감지 문제에서 낮은 질서의 해로 암묵적으로 정규화됨을 보여주며, 타당한 낮은 질서의 다양체 근처에서 초기화된 경우 정확한 복원을 달성한다. 기하학적 관점에서 기존 연구보다 더 강력한 수렴 보장을 확립하여, 약한 조건 하에서도 진짜 낮은 질서 행렬로의 암묵적 편향을 보여준다.

ABSTRACT

We may think of low-rank matrix sensing as a learning problem with infinitely many possible outcomes where the desired learning outcome is the unique low-rank matrix that agrees with the available data. To find this desired low-rank matrix, for example, nuclear norm explicitly biases the learning outcome towards being low-rank. In contrast, we establish here that simple gradient flow of the feasibility gap is implicitly biased towards low-rank outcomes and successfully solves the matrix sensing problem, provided that the initialization is low-rank and sufficiently close to the manifold of feasible outcomes. Compared to the state of the art, the geometric perspective adopted here leads to substantially stronger results.

연구 동기 및 목표

• 명시적 핵심 노름 펜alties를 초월하여 기울기 유동이 낮은 질서의 행렬 감지에서 암묵적 정규화 효과를 어떻게 유도하는지 이해하기.
• 최적화 역학의 기하학적 분석을 통해 행렬 감지 문제에 대한 더 강력한 이론적 수렴 결과를 확립하기.
• 초기화가 타당한 다양체 근처에 있을 경우, 타당성 갭 상의 기울기 유동이 진짜 낮은 질서의 행렬을 복원할 수 있는지 보여주기.
• 기존 접근 방식보다 더 날카롭고 일반적인 수렴 조건을 제공하는 더 견고한 기하학적 프레임워크 제공하기.

제안 방법

• 관측된 데이터 제약 조건에서의 이탈 정도를 측정하는 타당성 갭 함수 상의 기울기 유동 역학 분석하기.
• 진짜 해로의 수렴을 보장하기 위해 낮은 질서의 타당한 다양체 주변의 초기화에 집중하기.
• 기하학적 추론을 사용하여 기울기 유동의 궤적과 낮은 질서의 해로의 끌림을 특성화하기.
• 명시적 정규화 없이도 기울기 유동의 암묵적 편향이 낮은 질서의 구조를 선호함을 입증하기.
• 다양체에 가까운 초기화 조건 하에서 유일한 낮은 질서의 해로의 수렴을 다각도로 보장하기.

실험 결과

연구 질문

• RQ1 타당성 갭 상의 기울기 유동이 행렬 감지 문제에서 암묵적으로 낮은 질서의 해를 선호하는가?
• RQ2 명시적 핵심 노름 페널티 없이도 기울기 유동을 통한 암묵적 정규화가 정확한 복원을 달성할 수 있는가?
• RQ3 타당한 다양체의 기하학적 구조가 기울기 유동의 수렴에 어떤 영향을 미치는가?
• RQ4 기울기 유동 하에서 진짜 낮은 질서의 행렬로의 수렴을 보장하기 위한 초기화 조건은 무엇인가?
• RQ5 이 방법의 이론적 보장 조건은 명시적 정규화 방법과 비교해 어떻게 다른가?

주요 결과

• 타당성 갭 상의 기울기 유동은 낮은 질서의 해로 암묵적으로 정규화되며, 타당한 낮은 질서 다양체 근처에서 초기화된 경우 정확한 복원을 달성한다.
• 명시적 정규화 없이도 오직 최적화 경로의 기하학적 성질에 의존하여 성공한다.
• 기존 최고 수준의 결과보다 더 강력한 이론적 보장 조건을 제공하며, 강력한 가정 대신 타당한 다양체에의 근접성만 요구한다.
• 기울기 유동의 암묵적 편향은 데이터 제약 조건을 만족하는 유일한 낮은 질서의 해로 수렴하는 데에 충분하다.
• 기하학적 관점 덕분에 이전 접근 방식보다 더 날카롭고 일반적인 수렴 분석이 가능하다.