[논문 리뷰] Stable and Interpretable Unrolled Dictionary Learning

Bahareh Tolooshams, Demba Ba|arXiv (Cornell University)|2021. 05. 31.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 역전파를 통해 편향을 유발하는 unrolled sparse coding 네트워크에서 발생하는 코드 및 딕셔너리 추정의 편향을 해결하는 증명 가능하게 안정적이고 해석 가능한 unrolled 딕셔너리 학습 방법인 PUDLE을 제안한다. 네트워크 초기화, 손실 함수, 기울기 업데이트 방식을 수정함으로써 PUDLE는 진정한 딕셔너리로의 수렴을 보장하고, 네트워크 가중치, 출력값, 학습 데이터 간의 명시적 연결을 통해 수학적 해석 가능성을 확보한다.

ABSTRACT

The dictionary learning problem, representing data as a combination of a few atoms, has long stood as a popular method for learning representations in statistics and signal processing. The most popular dictionary learning algorithm alternates between sparse coding and dictionary update steps, and a rich literature has studied its theoretical convergence. The success of dictionary learning relies on access to a "good" initial estimate of the dictionary and the ability of the sparse coding step to provide an unbiased estimate of the code. The growing popularity of unrolled sparse coding networks has led to the empirical finding that backpropagation through such networks performs dictionary learning. We offer the theoretical analysis of these empirical results through PUDLE, a Provable Unrolled Dictionary LEarning method. We provide conditions on the network initialization and data distribution sufficient to recover and preserve the support of the latent code. Additionally, we address two challenges; first, the vanilla unrolled sparse coding computes a biased code estimate, and second, gradients during backpropagated learning can become unstable. We show approaches to reduce the bias of the code estimate in the forward pass, and that of the dictionary estimate in the backward pass. We propose strategies to resolve the learning instability by tuning network parameters and modifying the loss function. Overall, we highlight the impact of loss, unrolling, and backpropagation on convergence. We complement our findings through synthetic and image denoising experiments. Finally, we demonstrate PUDLE's interpretability, a driving factor in designing deep networks based on iterative optimizations, by building a mathematical relation between network weights, its output, and the training set.

연구 동기 및 목표

• unrolled sparse coding 네트워크에서 역전파 과정에서 발생하는 코드 및 딕셔너리 추정의 편향을 해결하기 위해.
• 초기화 및 데이터 분포에 대한 이론적 조건을 통해 딕셔너리 학습의 안정적 수렴을 보장하기 위해.
• 네트워크 가중치, 출력값, 학습 데이터 간의 수학적 연결을 확립함으로써 딥 네트워크의 해석 가능성 향상하기 위해.
• unrolled 네트워크를 통한 역전파 과정에서 기울기 업데이트의 불안정성 해결하기 위해.
• 스parser 코드의 지원 복원을 유지하는 이론적으로 탄탄한 프레임워크를 제공함으로써 unrolled 딕셔너리 학습에 대한 이론적 기반 마련하기 위해.

제안 방법

• PUDLE는 T단계의 스파스 코딩을 포함하는 unrolled ISTA 기반 네트워크를 사용하며, 각 레이어는 라소 솔루션의 미분 가능한 근사치를 학습한다.
• 전방 전파에서의 코드 추정 편향을 줄이고 역방향 전파에서의 기울기 업데이트를 안정화시키기 위해 수정된 손실 함수를 도입한다.
• 쌍방향 방법(Arora 등, 2015) 기반의 맞춤형 네트워크 초기화 전략을 사용하여 초기 지원 복원을 향상시킨다.
• 스텝 크기 α를 조정하고 정규화 파라미터 ν에 대한 감쇠 메커니즘을 도입함으로써 기울기 업데이트를 안정화시킨다.
• 각 학습 샘플이 최종 딕셔너리 및 코드 출력에 기여하는 정도를 측정하는 그람 행렬 G를 구성함으로써 해석 가능성을 확보한다.
• 자동 미분을 통해 unrolled 네트워크를 거쳐 역전파를 수행함으로써 딕셔너리를 학습하며, 각 업데이트 후 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 unrolled 딕셔너리 학습이 스파스 코드의 진정한 지원을 유지하기 위해 네트워크 초기화 및 데이터 분포에 어떤 조건이 필요한가?
• RQ2 unrolled 네트워크의 전방 전파에서의 코드 추정 편향을 어떻게 줄일 수 있으며, 이는 딕셔너리 복원 향상에 어떻게 기여하는가?
• RQ3 손실 함수 및 네트워크 파라미터에 어떤 수정이 unrolled 딕셔너리 학습에서 역전파 과정의 기울기 업데이트 안정성을 높이는가?
• RQ4 학습된 딕셔너리 및 코드를 어떻게 수학적 프레임워크를 통해 학습 데이터와 연결함으로써 해석 가능하게 만들 수 있는가?
• RQ5 언롤링 깊이, 학습률, 배치 크기가 unrolled 딕셔너리 학습의 수렴 및 안정성에 어떤 영향을 미치는가?

주요 결과

• PUDLE는 다양한 학습률에서 진정한 딕셔너리의 이웃으로 안정적인 수렴을 달성하며, 특히 ae-ls 기울기에서 가장 우수한 수렴 성능를 보였다.
• 적절한 초기화 및 데이터 분포 가정 하에 합성 실험을 통해 진정한 스파스 코드의 지원을 성공적으로 복원하였다.
• 이미지 노이즈 제거에서 PUDLE는 NOODL 및 SPORCO를 능가했으며, 9×9 컨volutional 딕셔너리를 사용해 BSD100 데이터셋에서 PSNR 31.4 dB를 달성하였다.
• 쌍방향 초기화 방법을 사용함으로써, 조건이 엄격한 경우에도 유한한 언롤링 깊이(T=25)에서도 빠른 수렴과 향상된 지원 복원을 달성하였다.
• 그람 행렬 구성 덕분에 해석 가능한 분석이 가능했으며, MNIST 실험에서 상위 200개 기여 학습 이미지가 재구성 에너지의 90% 이상를 차지하는 것으로 나타났다.
• 실험 결과 학습률 변화에 대해 뛰어난 내구성을 보였으며, 10−4, 10−3, 10−2 학습률 모두에서 수렴이 유지되었지만, 더 작은 학습률은 더 많은 에포크가 필요하였다.