[논문 리뷰] Model-Based Deep Learning

Nir Shlezinger, Jay Whang외 2명|arXiv (Cornell University)|2020. 12. 15.

Model Reduction and Neural Networks인용 수 50

한 줄 요약

튜토리얼 스타일의 서베이로, 모델 기반 신호처리와 딥러닝을 통합하고 두 가지 하이브리드 전략—모델 보조 네트워크와 DNN 보조 추론—를 소개하며 CS, 통신, 추적 분야의 응용으로 이를 설명한다.

ABSTRACT

Signal processing, communications, and control have traditionally relied on classical statistical modeling techniques. Such model-based methods utilize mathematical formulations that represent the underlying physics, prior information and additional domain knowledge. Simple classical models are useful but sensitive to inaccuracies and may lead to poor performance when real systems display complex or dynamic behavior. On the other hand, purely data-driven approaches that are model-agnostic are becoming increasingly popular as datasets become abundant and the power of modern deep learning pipelines increases. Deep neural networks (DNNs) use generic architectures which learn to operate from data, and demonstrate excellent performance, especially for supervised problems. However, DNNs typically require massive amounts of data and immense computational resources, limiting their applicability for some signal processing scenarios. We are interested in hybrid techniques that combine principled mathematical models with data-driven systems to benefit from the advantages of both approaches. Such model-based deep learning methods exploit both partial domain knowledge, via mathematical structures designed for specific problems, as well as learning from limited data. In this article we survey the leading approaches for studying and designing model-based deep learning systems. We divide hybrid model-based/data-driven systems into categories based on their inference mechanism. We provide a comprehensive review of the leading approaches for combining model-based algorithms with deep learning in a systematic manner, along with concrete guidelines and detailed signal processing oriented examples from recent literature. Our aim is to facilitate the design and study of future systems on the intersection of signal processing and machine learning that incorporate the advantages of both domains.

연구 동기 및 목표

• 하이브리드 모델 기반/데이터 중심 시스템에 대한 통일된 프레임워크 제시.
• 모델 기반 딥러닝을 모델 보조 네트워크와 DNN 보조 추론으로 분류.
• 설계 지침과 구체적인 구현 접근법 제시.
• 신호 처리, 통신, 제어 응용으로 프레임워크를 예시.
• 향후 과제와 연구 방향 논의.

제안 방법

• 추론 문제를 정의하고 모델 기반, 데이터 기반, 하이브리드 접근법을 대조.
• 두 가지 주요 전략 도입: 모델 보조 네트워크와 DNN 보조 추론.
• 딥러닝의 기초를 네트워크, 손실, 최적화 알고리즘을 포함한 기본 개념을 전제로 다룸.
• 깊은 언폴딩(딥 언폴딩) 및 신경 보강 등의 구현 접근법을 검토.
• 모델 기반 딥러닝 시스템 설계를 위한 가이드라인 제시.
• 응용 분야 전반에 걸친 문헌에 기반한 구체적 사례를 제시.

실험 결과

연구 질문

• RQ1 원칙에 기반한 모델 기반 방법을 데이터 기반 딥러닝과 효과적으로 통합하여 성능과 견고성을 어떻게 향상시킬 수 있는가?
• RQ2 모델 기반 딥러닝 아키텍처의 체계적 범주와 설계 원리는 무엇인가?
• RQ3 제한된 훈련 데이터와 부분적 도메인 지식으로 작동하도록 이러한 하이브리드 시스템을 어떻게 설계할 수 있는가?
• RQ4 태스크 간 모델 보조 네트워크와 DNN 보조 추론 간의 트레이드오프는 무엇인가?

주요 결과

• 논문은 모델 기반 딥러닝에 대한 두 가지 범주 프레임워크를 제시한다: 모델 보조 네트워크와 DNN 보조 추론.
• 하이브리드 시스템 연구, 설계 및 비교에 대한 구체적 가이드라인을 제공한다.
• 압축 센싱, 디지털 통신 및 추적에 걸친 문헌을 조사하여 접근 방식의 폭을 입증한다.
• 부분 도메인 지식으로 작동하고 종종 순수 데이터 기반 방법보다 작은 학습 세트로도 작동하는 하이브리드 방법의 가능성을 논의한다.
• 모델 기반 지식과 딥러닝을 연결하여 블랙박스 DNN 대비 해석가능성과 신뢰성을 개선한다.
• 도메인 지식과 학습의 통합에서 향후 연구 주제와 도전에 대해 개요를 제시한다.