[論文レビュー] Model-Based Deep Learning

Nir Shlezinger, Jay Whang+2 more|arXiv (Cornell University)|Dec 15, 2020

Model Reduction and Neural Networks被引用数 50

ひとこと要約

チュートリアル風の統一的なサーベイで、モデルベースの信号処理とディープラーニングを統合し、2つのハイブリッド戦略—モデル支援型ネットワークとDNN支援推論—を導入し、CS、通信、追跡の応用でそれらを説明する。

ABSTRACT

Signal processing, communications, and control have traditionally relied on classical statistical modeling techniques. Such model-based methods utilize mathematical formulations that represent the underlying physics, prior information and additional domain knowledge. Simple classical models are useful but sensitive to inaccuracies and may lead to poor performance when real systems display complex or dynamic behavior. On the other hand, purely data-driven approaches that are model-agnostic are becoming increasingly popular as datasets become abundant and the power of modern deep learning pipelines increases. Deep neural networks (DNNs) use generic architectures which learn to operate from data, and demonstrate excellent performance, especially for supervised problems. However, DNNs typically require massive amounts of data and immense computational resources, limiting their applicability for some signal processing scenarios. We are interested in hybrid techniques that combine principled mathematical models with data-driven systems to benefit from the advantages of both approaches. Such model-based deep learning methods exploit both partial domain knowledge, via mathematical structures designed for specific problems, as well as learning from limited data. In this article we survey the leading approaches for studying and designing model-based deep learning systems. We divide hybrid model-based/data-driven systems into categories based on their inference mechanism. We provide a comprehensive review of the leading approaches for combining model-based algorithms with deep learning in a systematic manner, along with concrete guidelines and detailed signal processing oriented examples from recent literature. Our aim is to facilitate the design and study of future systems on the intersection of signal processing and machine learning that incorporate the advantages of both domains.

研究の動機と目的

• ハイブリッドなモデルベース/データ駆動システムの統一フレームワークを提示する。
• モデルベース深層学習を、モデル支援ネットワークとDNN支援推論に分類する。
• 設計指針と具体的な実装手法を提供する。
• 信号処理、通信、制御の応用によってフレームワークを具現化する。
• 今後の課題と研究方向性について論じる。

提案手法

• 推論問題を定義し、モデルベース、データ駆動、ハイブリッドアプローチを対比する。
• 2つの主要戦略を紹介する：モデル支援ネットワークとDNN支援推論。
• 事前知識として、ネットワーク、損失関数、最適化アルゴリズムを含むディープラーニングの基本を解説する。
• 深い展開（ディープアウンフル）やニューラル補強などの実装手法をレビューする。
• モデルベース深層学習システムの設計指針を提示する。
• 応用領域全体にわたる具体的な文献ベースの例を提供する。

実験結果

リサーチクエスチョン

• RQ1 原理に基づくモデルベース手法を効果的にデータ駆動の深層学習と統合して性能と頑健性を向上させるにはどうすればよいか？
• RQ2 モデルベース深層学習アーキテクチャの体系的な分類と設計原理とは何か？
• RQ3 限られた訓練データや部分的なドメイン知識で動作するようなハイブリッドシステムをどのように設計できるか？
• RQ4 タスクを横断して、モデル支援ネットワークとDNN支援推論のトレードオフは何か？

主な発見

• 本論文は、モデルベース深層学習の2カテゴリの枠組みとして、モデル支援ネットワークとDNN支援推論を提案する。
• ハイブリッドシステムの研究・設計・比較のための具体的指針を提供する。
• 圧縮センシング、デジタル通信、追跡にわたる文献を調査し、アプローチの広がりを示す。
• ハイブリッド手法が部分的なドメイン知識で動作し、純粋にデータ駆動の手法より訓練データセットが小さくて済む場合が多いことを論じる。
• モデルベースの知識と深層学習を結び付け、ブラックボックスDNNに比べて解釈性と信頼性を向上させる。
• ドメイン知識を学習と統合することにおける今後の研究課題と挑戦を概説する。