[論文レビュー] Deep Unfolding: Model-Based Inspiration of Novel Deep Architectures

John R. Hershey, Jonathan Le Roux+1 more|arXiv (Cornell University)|Sep 9, 2014

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 254

ひとこと要約

この論文は、繰り返しモデルベース推論アルゴリズムを、層間でパラメータを分離することで深層ニューラルネットワークアーキテクチャに変換する、深層アンフォールディングという手法を提案する。音声強調のための非負値行列分解にこの手法を適用することで、パラメータ効率的で解釈可能な深層ネットワークを構築し、元のモデルが持つ信号の加法性といったドメイン固有の制約を保ちながら、標準的なDNNと比較してはるかに少ないパラメータで優れた性能を達成した。

ABSTRACT

Model-based methods and deep neural networks have both been tremendously successful paradigms in machine learning. In model-based methods, problem domain knowledge can be built into the constraints of the model, typically at the expense of difficulties during inference. In contrast, deterministic deep neural networks are constructed in such a way that inference is straightforward, but their architectures are generic and it is unclear how to incorporate knowledge. This work aims to obtain the advantages of both approaches. To do so, we start with a model-based approach and an associated inference algorithm, and \emph{unfold} the inference iterations as layers in a deep network. Rather than optimizing the original model, we \emph{untie} the model parameters across layers, in order to create a more powerful network. The resulting architecture can be trained discriminatively to perform accurate inference within a fixed network size. We show how this framework allows us to interpret conventional networks as mean-field inference in Markov random fields, and to obtain new architectures by instead using belief propagation as the inference algorithm. We then show its application to a non-negative matrix factorization model that incorporates the problem-domain knowledge that sound sources are additive. Deep unfolding of this model yields a new kind of non-negative deep neural network, that can be trained using a multiplicative backpropagation-style update algorithm. We present speech enhancement experiments showing that our approach is competitive with conventional neural networks despite using far fewer parameters.

研究の動機と目的

• ドメイン知識を組み込むが推論が遅いモデルベース手法と、高速だが解釈性に欠ける深層ニューラルネットワークの間のギャップを埋める。
• 反復的推論アルゴリズムを学習可能で階層的な深層アーキテクチャに変換する一般化フレームワークを開発する。
• 元のモデルベース手法の構造的制約を保ちながら、これらのアーキテクチャの判別的学習を可能にする。
• 深層アンフォールディングが、音声強調のような実世界の応用分野において、新たな効率的で解釈可能なニューラルネットワークを生み出すことを示す。

提案手法

• 非負値行列分解における乗法的更新などの反復的推論アルゴリズムの反復を、深層ネットワークの層の系列に展開する。
• 層間でモデルパラメータを分離することで、判別的学習を可能にし、元のモデルを越えた表現能力を向上させる。
• 勾配ベースの誤差逆伝播を用いてネットワークを学習し、元の推論アルゴリズムから導出された乗法的更新ルールを適用する。
• マルコフ確率場と信念伝播にこのフレームワークを適用し、従来のシグモイドネットワークと代替的な深層アーキテクチャを統一する。
• 非負値の深層ネットワークを、NMFの推論プロセスをアンフォールドすることで設計し、音源の加法性制約を保持する。
• 非負パラメータに特化した乗法的誤差逆伝播スタイルのアルゴリズムを用いて、得られたアーキテクチャを学習する。

実験結果

リサーチクエスチョン

• RQ1 反復的モデルベース推論アルゴリズムを、表現力と学習可能性が向上した深層ニューラルネットワークアーキテクチャに体系的かつ一貫して変換できるか？
• RQ2 音声分野における信号の加法性といったドメイン固有の制約を、モデルベース設計によって深層学習モデルに組み込む方法は何か？
• RQ3 深層アンフォールディングが、標準的なDNNと比較して顕著に少ないパラメータで高い精度を達成するアーキテクチャを生成できるか？
• RQ4 層ごとのパラメータ分離学習が、深層アンフォールディングアーキテクチャの性能と一般化性能に与える影響は何か？
• RQ5 推論アルゴリズムの選択（例：平均場近似 vs. 信念伝播）が、得られる深層ネットワークアーキテクチャに与える影響は何か？

主な発見

• K=25、C=2の非負値深層NMFアーキテクチャは、わずか44万パラメータでSDR 9.64 dBを達成し、550万パラメータのDNNが9.57 dBを達成するのを上回った。
• 最小の非負値深層NMFトポロジー（K=25、C=2）は、10倍も少ないパラメータで、最良のDNNを上回った。
• 最初の層の判別的学習が最も大きな性能向上をもたらし、より深い層の学習は常に性能を向上させ、特にSNRが低い条件下で顕著な改善が見られた。
• R^l=100からR^l=1000に層数を増やしても、僅かな性能向上しか得られず、これは利得の逓減またはデータ・最適化のボトルネックを示唆している。
• このフレームワークは、従来のシグモイドネットワークをアンフォールドされた平均場近似として統一し、信念伝播に基づくアンフォールディングによって新たなアーキテクチャの構築を可能にした。
• 乗法的誤差逆伝播アルゴリズムは、非負性制約を保持しつつ、非負値深層ネットワークの効果的最適化を可能にした。