[논문 리뷰] An improved analysis of the ER-SpUD dictionary learning algorithm

Jarosław Błasiok, Jelani Nelson|arXiv (Cornell University)|2016. 02. 18.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 6

한 줄 요약

이 논문은 ER-SpUD 사전 학습 알고리즘에 대한 개선된 이론적 분석을 제시하며, 약간의 수정을 통해 $ p \gtrsim n\log(n/\delta) $ 개의 샘플로도 성공적인 사전 복원이 가능하다는 것을 보여주며, [SWW12]의 추측을 해결하고 기존에 $ p \gtrsim n\log^4 n $ 가 충분하다고 주장한 바를 반박한다. 주요 결과는 서브가우시안 희소성과 노이즈 없는 조건 하에서 날카운 샘플 복잡도 경계를 확립한다.

ABSTRACT

In "dictionary learning" we observe $Y = AX + E$ for some $Y\in\mathbb{R}^{n imes p}$, $A \in\mathbb{R}^{m imes n}$, and $X\in\mathbb{R}^{m imes p}$. The matrix $Y$ is observed, and $A, X, E$ are unknown. Here $E$ is "noise" of small norm, and $X$ is column-wise sparse. The matrix $A$ is referred to as a {\em dictionary}, and its columns as {\em atoms}. Then, given some small number $p$ of samples, i.e.\ columns of $Y$, the goal is to learn the dictionary $A$ up to small error, as well as $X$. The motivation is that in many applications data is expected to sparse when represented by atoms in the "right" dictionary $A$ (e.g.\ images in the Haar wavelet basis), and the goal is to learn $A$ from the data to then use it for other applications. Recently, [SWW12] proposed the dictionary learning algorithm ER-SpUD with provable guarantees when $E = 0$ and $m = n$. They showed if $X$ has independent entries with an expected $s$ non-zeroes per column for $1 \lesssim s \lesssim \sqrt{n}$, and with non-zero entries being subgaussian, then for $p\gtrsim n^2\log^2 n$ with high probability ER-SpUD outputs matrices $A', X'$ which equal $A, X$ up to permuting and scaling columns (resp.\ rows) of $A$ (resp.\ $X$). They conjectured $p\gtrsim n\log n$ suffices, which they showed was information theoretically necessary for {\em any} algorithm to succeed when $s \simeq 1$. Significant progress was later obtained in [LV15]. We show that for a slight variant of ER-SpUD, $p\gtrsim n\log(n/δ)$ samples suffice for successful recovery with probability $1-δ$. We also show that for the unmodified ER-SpUD, $p\gtrsim n^{1.99}$ samples are required even to learn $A, X$ with polynomially small success probability. This resolves the main conjecture of [SWW12], and contradicts the main result of [LV15], which claimed that $p\gtrsim n\log^4 n$ guarantees success whp.

연구 동기 및 목표

• 서브가우시안 희소성 하에서 ER-SpUD를 사용한 사전 복원에 $ p \gtrsim n\log n $ 개의 샘플이 충분하다는 [SWW12]의 추측을 해결하기 위해.
• 수정된 ER-SpUD의 샘플 복잡도를 분석하고 고확률 복원을 위한 날카운 경계를 확립하기 위해.
• 원래 ER-SpUD 알고리즘이 심지어 다항식적으로 작은 성공 확률일 경우에도 $ p \gtrsim n^{1.99} $ 개의 샘플이 필요하다는 것을 보여주며, [LV15]의 주장과 모순됨.
• 노이즈 없고 서브가우시안 계수 모델 하에서 사전 학습의 정교한 이론적 이해를 제공하기 위해.

제안 방법

• ER-SpUD 알고리즘의 약간의 변형을 도입하여 샘플 복잡도 보장을 향상시킴.
• 일반화 체이닝과 가우시안 과정 尾 꼬리 경계를 사용하여 $ \ell_1 $-볼 위의 랜덤 과정의 초과값을 제어함.
• 거리 엔트로피와 주요 측도 이론을 사용하여 라데마처 카오스 과정의 기대 초과값을 경계함.
• 집중 불등식을 적용하여 경험적 노름과 기대값 간의 편차에 대한 고확률 경계를 유도함.
• $ \ell_2 $ 및 $ \ell_\infty $ 거리에서 $ \ell_1 $-볼의 $ \gamma_2 $ 및 $ \gamma_1 $ 기능에 대한 경계를 유도함.
• 레마 14와 레마 24를 통해 모멘트 및 꼬리 경계를 결합하여 한 과정의 농도 행동을 그 대칭 버전으로 이전함.

실험 결과

연구 질문

• RQ1 서브가우시안 희소 계수 모델 하에서 $ p \gtrsim n\log n $ 개의 샘플이 고확률 복원에 충분한가?
• RQ2 원래 ER-SpUD 알고리즘이 [LV15]에서 주장한 바와 같이 $ p \gtrsim n\log^4 n $ 개의 샘플로도 고확률 복원을 달성할 수 있는가?
• RQ3 원래 ER-SpUD가 심지어 다항식적으로 작은 성공 확률일 경우 성공하기 위해 필요한 최소 샘플 복잡도는 무엇인가?
• RQ4 제안된 ER-SpUD의 변형은 원래 알고리즘 대비 샘플 복잡도를 어떻게 향상시키는가?
• RQ5 거리 엔트로피와 일반화 체이닝은 사전 학습 알고리즘 분석의 정밀도를 높이는 데 어떤 역할을 하는가?

주요 결과

• 수정된 ER-SpUD는 $ p \gtrsim n\log(n/\delta) $ 개의 샘플로도 고확률 사전 복원을 달성하며, [SWW12]의 추측을 해결함.
• 원래 ER-SpUD 알고리즘은 심지어 성공 확률이 $ 1/\mathop{\mathrm{poly}}(n) $ 일지라도 $ p \gtrsim n^{1.99} $ 개의 샘플이 필요하며, [LV15]의 주장과 모순됨.
• 분석 결과 $ \gamma_2(B_1, \|\cdot\|_2) \lesssim \sqrt{\log n} $ 및 $ \gamma_1(B_1, \|\cdot\|_\infty) \lesssim \log n $ 임을 보여주며, 이는 과정 초과값을 경계하는 데 핵심적임.
• 대칭화된 과정 $ \sup_{v \in B_1} |\tilde{X}_v| $ 의 경계가 고확률적으로 $ \lesssim \sqrt{m\theta \log(n/\delta)} + \log(n/\delta) $ 임을 보임.
• 제시된 희소성 및 서브가우시안 가정 하에서 수정된 알고리즘에 대해 필요한 샘플 크기 $ p \gtrsim n\log(n/\delta) $ 는 必要 및 충분 조건임.
• 정보 이론적으로 $ p \gtrsim n\log n $ 가 $ \theta \simeq 1/n $ 일 때 복원에 필수적이고 충분함을 보여주며, 추측을 확인함.