[논문 리뷰] Robust Recovery via Implicit Bias of Discrepant Learning Rates for Double Over-parameterization

Chong You, Zhihui Zhu외 2명|arXiv (Cornell University)|2020. 06. 16.

Sparse and Compressive Sensing Techniques참고 문헌 51인용 수 8

한 줄 요약

이 논문은 낮은 랭크 행렬과 자연 이미지를 과도하게 손상된 선형 측정값에서 이중 과도매개변수화와 다릅질된 학습률을 사용하여 강건한 복구 방법을 제안한다. 낮은 랭크 신호와 희박한 손상 요소를 각각 별도의 학습률로 과도매개변수화함으로써, 랭크나 희박성에 대한 사전 지식 없이도 경사 하강법이 진짜 기반 구조 쪽으로 암묵적 편향을 유도하며, 조기 정지나 하이퍼파라미터 튜닝 없이도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent advances have shown that implicit bias of gradient descent on over-parameterized models enables the recovery of low-rank matrices from linear measurements, even with no prior knowledge on the intrinsic rank. In contrast, for robust low-rank matrix recovery from grossly corrupted measurements, over-parameterization leads to overfitting without prior knowledge on both the intrinsic rank and sparsity of corruption. This paper shows that with a double over-parameterization for both the low-rank matrix and sparse corruption, gradient descent with discrepant learning rates provably recovers the underlying matrix even without prior knowledge on neither rank of the matrix nor sparsity of the corruption. We further extend our approach for the robust recovery of natural images by over-parameterizing images with deep convolutional networks. Experiments show that our method handles different test images and varying corruption levels with a single learning pipeline where the network width and termination conditions do not need to be adjusted on a case-by-case basis. Underlying the success is again the implicit bias with discrepant learning rates on different over-parameterized parameters, which may bear on broader applications.

연구 동기 및 목표

• 내재된 랭크와 손상의 희박성에 대한 정보가 없는 상태에서 과도하게 손상된 측정값으로부터 강건한 낮은 랭크 행렬 복구 문제를 해결하기 위해.
• 일반적으로 정확한 매개변수화나 조기 정지를 필요로 하는 과도매개변수화 모델에서의 과적합 문제를 해결하기 위해.
• 이중 과도매개변수화를 통해 경사 하강법의 암묵적 편향을 딥 컨volution 네트워크를 사용한 자연 이미지 복구에 확장하기 위해.
• 사례별 튜닝 없이 다양한 이미지와 손상 수준에 일반화되는 통합 학습 파이프라인 개발하기 위해.

제안 방법

• 이중 과도매개변수화: 낮은 랭크 행렬과 희박한 손상 요소 각각을 별도의 과도매개변수화 모델로 표현한다 (예: 낮은 랭크에 대해 UU^T, 이미지에 대해 딥 네트워크).
• 다른 학습률 사용: 낮은 랭크 성분과 희박 성분에 각각 다른 학습률을 적용하여, 진짜 신호 복구를 선호하는 암묵적 편향을 생성한다.
• 최소 제곱 손실을 최소화하기 위해 경사 하강법을 적용하며, 명시적 정규화 없이도 학습률의 차이에 의해 유도되는 암묵적 편향에 의존한다.
• 이론적 분석은 낮은 랭크 성분의 학습률이 0에 수렴할 때 해가 진짜 낮은 랭크 및 희박 성분으로 수렴함을 보여준다.
• 이중 과도매개변수화를 통해 자연 이미지 복구에 확장하기 위해 이미지를 딥 컨volution U-Net 아키텍처로 매개변수화한다.
• 다른 학습률 간 격차에 기반한 경사 하강법의 암묵적 편향을 활용하여 조기 정지나 하이퍼파라미터 튜닝 없이도 복구를 수행한다.

실험 결과

연구 질문

• RQ1 과도매개변수화된 모델에서 다른 학습률을 가진 경사 하강법이 내재된 랭크에 대한 사전 지식 없이 과도하게 손상된 측정값으로부터 낮은 랭크 행렬을 복구할 수 있는가?
• RQ2 낮은 랭크 성분과 희박 성분 양쪽을 이중 과도매개변수화함으로써 명시적 정규화나 조기 정지 없이도 강건한 복구가 가능한가?
• RQ3 다른 학습률을 가진 경사 하강법의 암묵적 편향이 다양한 손상 수준과 이미지 유형에 대해 자연 이미지 복구에 일반화 가능한가?
• RQ4 랭크나 희박성에 대한 사전 지식 없이, 학습률 격차가 복구 과정의 수렴성과 강건성에 어떤 영향을 미치는가?
• RQ5 이 방법을 사용하여 다양한 테스트 이미지와 손상 수준에서 단일 고정된 네트워크 폭과 종료 조건을 사용할 수 있는가?

주요 결과

• 이 방법은 모든 테스트된 손상 수준에서 DIP 및 DIP-ℓ₁를 능가하는 뛰어난 PSNR와 시각적 품질을 확보하여 강건한 이미지 복구 작업에서 뛰어난 성능을 보였다.
• 70%의 소트 앤 페퍼 노이즈 상황에서, 두 개의 테스트 이미지에 대해 각각 PSNR 20.15와 13.91을 기록했으며, 사례별 조기 정지를 필요로 하는 DIP-ℓ₁를 크게 능가했다.
• 이 방법은 과적합을 보이지 않으며, 네트워크 폭, 학습률, 종료 조건을 조정하지 않더라도 다양한 이미지와 손상 수준에서 일관된 성능을 유지한다.
• 이론적 분석은 다른 학습률을 가진 경사 하강법의 암묵적 편향이 진짜 낮은 랭크 및 희박 성분으로 수렴함을 확인한다.
• 이 방법은 자연 이미지로의 일반화가 잘 되어 있으며, 단일 고정된 학습 파이프라인으로 다양한 손상 수준과 이미지 콘텐츠에 대해 강건함을 보였다.
• 암묵적 편향 메커니즘이 랭크와 손상의 희박성에 대한 정보가 전혀 없는 상황에서도 복구를 가능하게 하여, 이는 이전 방법의 핵심적인 한계였다.