[논문 리뷰] Local stability and robustness of sparse dictionary learning in the presence of noise

Rodolphe Jenatton, Rémi Gribonval외 1명|arXiv (Cornell University)|2012. 10. 02.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 28

한 줄 요약

이 논문은 노이즈가 있는 조건에서 희소 딕셔너리 학습의 국소 안정성과 내성에 대한 비 渐近적 확률적 보장을 수립한다. 일관성, 노이즈 수준, 신호 차원의 스케일링을 분석함으로써, 고차원 및 노이즈가 있는 설정에서도 높은 확률로 진짜 기준 딕셔너리 근처에 희소 코딩 최적화 문제의 국소 최솟값이 존재한다는 것을 증명한다.

ABSTRACT

A popular approach within the signal processing and machine learning communities consists in modelling signals as sparse linear combinations of atoms selected from a learned dictionary. While this paradigm has led to numerous empirical successes in various fields ranging from image to audio processing, there have only been a few theoretical arguments supporting these evidences. In particular, sparse coding, or sparse dictionary learning, relies on a non-convex procedure whose local minima have not been fully analyzed yet. In this paper, we consider a probabilistic model of sparse signals, and show that, with high probability, sparse coding admits a local minimum around the reference dictionary generating the signals. Our study takes into account the case of over-complete dictionaries and noisy signals, thus extending previous work limited to noiseless settings and/or under-complete dictionaries. The analysis we conduct is non-asymptotic and makes it possible to understand how the key quantities of the problem, such as the coherence or the level of noise, can scale with respect to the dimension of the signals, the number of atoms, the sparsity and the number of observations.

연구 동기 및 목표

• 신호 처리 및 머신 러닝 분야에서 희소 딕셔너리 학습의 경험적 성공을 이론적으로 정당화하기 위해 노이즈 하에서의 안정성 분석을 수행한다.
• 비볼록 희소 코딩 설정에서 국소 최솟값에 대한 이론적 이해 부족 문제를 해결한다.
• 기존의 노이즈 없는 및 과소완성 딕셔너리 분석을 더 현실적인 과다완성 및 노이즈 있는 신호의 경우로 확장한다.
• 일관성, 노이즈 수준, 희소성, 신호 차원 등 핵심 문제 매개변수들이 식별 가능성과 국소 수렴에 미치는 영향을 정량화한다.

제안 방법

• 기준 딕셔너리에서 생성된 노이즈가 첨가된 희소 신호의 확률 모델을 수립한다.
• 비 渐진적 농도 부등식을 사용하여 희소 코딩 목적 함수의 편차를 제한한다.
• 원자 간 상호 일관성을 제어하기 위해 딕셔너리에 기반한 가정을 적용한다.
• 진짜 딕셔너리 근처에서 국소 최솟값을 찾을 확률에 대한 높은 확률 하한을 유도한다.
• 모멘트 한계와 尾부 부등식(예: 서브-가우시안 및 서브-웨이불 尾부 가정)을 사용하여 첨도가 높은 신호 분포를 다룬다.
• 무작위 행렬 이론 및 고차원 확률론의 결과를 통합하여 노이즈 하에서 최적화 지형의 행동을 분석한다.

실험 결과

연구 질문

• RQ1 노이즈가 존재하는 조건에서 희소 코딩이 진짜 기준 딕셔너리 근처에 국소 최솟값을 가질 수 있는 조건은 무엇인가?
• RQ2 신호 수, 희소성 수준, 딕셔너리 과다완성은 진짜 딕셔너리 복원 확률에 어떤 영향을 미치는가?
• RQ3 희소 코딩을 통한 기준 딕셔너리의 안정적 복원을 위해 허용 가능한 최대 노이즈 수준은 얼마인가?
• RQ4 일관성과 신호 차원은 진짜 딕셔너리 근처에서 국소 최솟값이 보장되는 이웃 영역의 크기에 어떤 영향을 미치는가?
• RQ5 과다완성 및 노이즈 있는 딕셔너리 학습에서 국소 안정성에 대한 비 渐진적, 높은 확률 보장을 도출할 수 있는가?

주요 결과

• 높은 확률로, 희소 코딩 목적 함수의 국소 최솟값이 진짜 기준 딕셔너리 근처에 존재한다. 이는 딕셔너리가 과다완성일지라도, 신호에 노이즈가 존재하는 경우에도 성립한다.
• 그러한 국소 최솟값이 존재할 확률는 신호 차원, 원자 수, 희소성, 노이즈 수준에 따라 의존하는 비 渐진적 표현식으로 하한이 보장된다.
• 진짜 딕셔너리 근처의 이웃 영역 크기는 관측 수의 증가와 노이즈 수준의 역수에 따라 유리하게 스케일링된다.
• 딕셔너리의 일관성과 노이즈 수준이 신호 차원과 희소성에 상대적으로 특정 스케일링 조건을 만족할 경우, 노이즈에 대한 내성은 보장된다.
• 분석 결과, 원자 수에 대해 로그 스케일링, 희소성 수준에 대해 다항식 스케일링으로 신호 수가 증가할 경우 식별성이 달성 가능하다.
• 기존의 노이즈 없는 분석을 더 현실적인 설정으로 확장하여, 영상 및 오디오 처리와 같은 애플리케이션에서 희소 딕셔너리 학습의 경험적 성공에 대한 이론적 근거를 제공한다.