[논문 리뷰] Deep Unfolding: Model-Based Inspiration of Novel Deep Architectures

John R. Hershey, Jonathan Le Roux외 1명|arXiv (Cornell University)|2014. 09. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 254

한 줄 요약

이 논문은 반복적인 모델 기반 추론 알고리즘을 깊이 신경망 아키텍처로 변환하기 위해 계층 간 매개변수를 분리하는 방식인 딥 언폴딩(Deep Unfolding)을 소개한다. 음성 강화를 위한 비음수 행렬 분해(NMF)에 이를 적용함으로써, 도메인 특화 제약 조건(예: 신호의 가환성)을 유지하면서도 파라미터 효율적이고 해석 가능한 깊이 신경망을 구축한다. 이는 기존의 표준 DNN보다 훨씬 적은 파라미터로도 뛰어난 성능을 달성한다.

ABSTRACT

Model-based methods and deep neural networks have both been tremendously successful paradigms in machine learning. In model-based methods, problem domain knowledge can be built into the constraints of the model, typically at the expense of difficulties during inference. In contrast, deterministic deep neural networks are constructed in such a way that inference is straightforward, but their architectures are generic and it is unclear how to incorporate knowledge. This work aims to obtain the advantages of both approaches. To do so, we start with a model-based approach and an associated inference algorithm, and \emph{unfold} the inference iterations as layers in a deep network. Rather than optimizing the original model, we \emph{untie} the model parameters across layers, in order to create a more powerful network. The resulting architecture can be trained discriminatively to perform accurate inference within a fixed network size. We show how this framework allows us to interpret conventional networks as mean-field inference in Markov random fields, and to obtain new architectures by instead using belief propagation as the inference algorithm. We then show its application to a non-negative matrix factorization model that incorporates the problem-domain knowledge that sound sources are additive. Deep unfolding of this model yields a new kind of non-negative deep neural network, that can be trained using a multiplicative backpropagation-style update algorithm. We present speech enhancement experiments showing that our approach is competitive with conventional neural networks despite using far fewer parameters.

연구 동기 및 목표

• 도메인 지식을 통합하지만 추론 속도가 느린 모델 기반 방법과, 빠르지만 해석이 어려운 깊이 신경망 간의 격차를 메우기 위해.
• 반복적 추론 알고리즘을 학습 가능한 계층적 깊이 신경망 아키텍처로 변환할 수 있는 일반적인 프레임워크를 개발하기 위해.
• 원래의 모델 기반 접근 방식의 구조적 제약 조건을 유지하면서도 이러한 아키텍처를 분류 기반 학습이 가능하도록 하기 위해.
• 딥 언폴딩이 실세계 응용 분야(예: 음성 강화)에 적합한 새로운 효율적이고 해석 가능한 신경망 아키텍처를 제공할 수 있음을 입증하기 위해.

제안 방법

• NMF와 같은 반복적 추론 알고리즘의 반복 단계를 깊이 신경망의 계층 시퀀스로 전개하기.
• 계층 간 모델 매개변수를 분리하여 분류 기반 학습을 가능하게 하며, 원래 모델을 초월한 표현 능력을 향상시키기.
• 기존 추론 알고리즘에서 유도된 다중 곱셈 업데이트 규칙을 사용하여 기울기 기반 역전파를 수행하기.
• 마르코프 무작위 필드와 믿음 전파를 적용하여 기존 시그모이드 네트워크와 다른 깊이 신경망 아키텍처를 통합하기.
• 음향 소스의 가환성 제약 조건을 유지하면서 NMF 추론 과정을 전개하여 비음수 깊이 신경망을 설계하기.
• 비음수 매개변수에 특화된 다중 곱셈 역전파 스타일 알고리즘을 사용하여 유도된 아키텍처를 학습하기.

실험 결과

연구 질문

• RQ1 반복적인 모델 기반 추론 알고리즘이 표현력과 학습 가능성 향상에 기여하는 깊이 신경망 아키텍처로 체계적으로 변환될 수 있는가?
• RQ2 신호의 가환성과 같은 도메인 특화 제약 조건이 모델 기반 설계를 통해 어떻게 깊이 학습 모델에 통합될 수 있는가?
• RQ3 딥 언폴딩이 기존 DNN보다 훨씬 적은 파라미터로도 정확도 면에서 뛰어난 성능을 내는 아키텍처를 생성할 수 있는가?
• RQ4 계층 간 매개변수 분리 학습이 딥 언폴딩 아키텍처의 성능 및 일반화 능력에 미치는 영향은 어떠한가?
• RQ5 추론 알고리즘의 선택(예: 평균 장 vs. 믿음 전파)이 유도된 깊이 신경망 아키텍처에 어떤 영향을 미치는가?

주요 결과

• K=25, C=2인 딥 NMF 아키텍처는 오직 440K 파라미터로만 사용하여 SDR 9.64 dB를 달성하며, 550만 파라미터를 사용하는 DNN가 9.57 dB를 기록한 것보다 뛰어난 성능을 보였다.
• 가장 작은 딥 NMF 아키텍처(K=25, C=2)는 파라미터 수가 약 10배 적은 상태에서도 최고의 DNN를 능가하는 성능을 보였다.
• 첫 번째 계층의 분류 기반 학습이 가장 큰 성능 향상을 가져왔으며, 더 깊은 계층의 학습 역시 항상 성능 향상을 이끌었으며, 특히 저 SNR 조건에서 두드러진 성능 향상이 관찰되었다.
• R^l=100에서 R^l=1000으로 계층 수를 늘일 경우 성능 향상이 미미하여, 수익 감소 또는 데이터/최적화 병목 현상이 존재할 가능성이 있음을 시사한다.
• 이 프레임워크는 기존의 시그모이드 네트워크를 평균 장 추론의 전개로 통합하며, 믿음 전파 기반 전개를 통해 새로운 아키텍처를 가능하게 한다.
• 다중 곱셈 역전파 알고리즘이 비음수 깊이 신경망을 성공적으로 학습시켰으며, 비음수 제약 조건을 유지하면서 효과적인 최적화를 가능하게 하였다.