[論文レビュー] Interpretable Recurrent Neural Networks Using Sequential Sparse Recovery

Scott Wisdom, Thomas A. Powers+2 more|arXiv (Cornell University)|Nov 22, 2016

Sparse and Compressive Sensing Techniques参考文献 17被引用数 38

ひとこと要約

本稿では、逐次的反復ソフトスレッショングアルゴリズム（SISTA）に基づいて導出された、逐次的スパースレコ very 用の解釈可能な再帰的ニューラルネットワークアーキテクチャ、SISTA-RNN を提案する。RNN の学習を確率的モデルにおける推論として定式化することで、スパース性を促進する辞書、正則化重み、ステップサイズといった解釈可能なパラメータを学習可能となり、ブラックボックス型のLSTM や一般RNN よりも優れた性能と高速な学習を達成した。

ABSTRACT

Recurrent neural networks (RNNs) are powerful and effective for processing sequential data. However, RNNs are usually considered "black box" models whose internal structure and learned parameters are not interpretable. In this paper, we propose an interpretable RNN based on the sequential iterative soft-thresholding algorithm (SISTA) for solving the sequential sparse recovery problem, which models a sequence of correlated observations with a sequence of sparse latent vectors. The architecture of the resulting SISTA-RNN is implicitly defined by the computational structure of SISTA, which results in a novel stacked RNN architecture. Furthermore, the weights of the SISTA-RNN are perfectly interpretable as the parameters of a principled statistical model, which in this case include a sparsifying dictionary, iterative step size, and regularization parameters. In addition, on a particular sequential compressive sensing task, the SISTA-RNN trains faster and achieves better performance than conventional state-of-the-art black box RNNs, including long-short term memory (LSTM) RNNs.

研究の動機と目的

• 解釈可能なパラメータの学習を保証する、原理的確率モデルに裏付けられた再帰的ニューラルネットワークアーキテクチャの開発。
• 特にLSTMのような従来のRNNが示すブラックボックス性を解消するため、ヒューリスティックな要素をモデルベース推論アルゴリズムに置き換えること。
• 構造的で解釈可能なRNN設計により、逐次的スパースレコ very タスクにおける学習速度と性能の向上。
• SISTAを用いたモデルベース初期化が、標準RNNにおけるランダム初期化と比較して、収束性と汎化性能に優れることの実証。
• 解釈可能なディープネットワークを今後の人間が理解可能なAIシステムの基盤として用いる可能性の探求。

提案手法

• SISTA-RNN は、スパース性を促進する事前分布を伴うスパースレコ very 問題を解くための逐次的反復ソフトスレッショングアルゴリズム（SISTA）を展開することで構築される。
• ネットワークアーキテクチャは、SISTA の計算構造に起因し、統計的モデルの構成要素に紐づいた学習可能なパラメータを持つスタックドRNNとして暗黙的に定義される。
• 主なパラメータには、スパース化辞書 D、正則化パラメータ λ₁ と λ₂、ステップサイズ α が含まれ、これらは学習後も確率的解釈を保持する。
• ネットワークは平均二乗誤差損失を用いてエンドツーエンドで学習され、SISTAパラメータは教師なしSISTAから初期化され、バックプロパゲーションによる微調整が行われる。
• 長短記憶（LSTM）ユニットのようなブラックボックス型コンponents を回避し、微分可能でモデルベースの推論プロセスに依存する。
• 解釈性を維持するため、λ₂ に非負制約を導入し、学習済みパラメータの挙動に基づくアーキテクチャの改善を検討。

実験結果

リサーチクエスチョン

• RQ1 学習された重みが確率的モデルの解釈可能なパラメータに対応するような再帰的ニューラルネットワークを設計可能か？
• RQ2 SISTA を用いたモデルベース初期化が、標準RNNにおけるランダム初期化と比較して、収束速度と性能に優れるか？
• RQ3 SISTA-RNN の性能は、LSTM や一般RNN といったブラックボックス型RNN と比較して、逐次的スパースレコ very タスクで優れているか？
• RQ4 SISTA-RNN は、複素数状態やユニタリティ制約を必要とせず、既存のアーキテクチャ（例：ユニタリRNN: uRNN）の一般化として解釈可能か？
• RQ5 λ₁、λ₂、α といったSISTAパラメータの学習値を分析することで、モデル挙動やデータ構造に関する何らかの知見が得られるか？

主な発見

• SISTA-RNN はテストセットで最小の平均二乗誤差（MSE）584 を達成し、LSTM（727 MSE）および一般RNN（720 MSE）を上回った。
• SISTA-RNN はピーク信号対雑音比（PSNR）21.7 dB を達成し、LSTM および一般RNN（両者とも20.7 dB）を顕著に上回った。
• 学習曲線から、SISTA-RNN はLSTM や一般RNN よりも高速に学習を完了した。これは、モデルベース初期化による最適化ダイナミクスの改善を示唆している。
• 学習済みSISTAパラメータには、λ₁ = 3.07（スパース性ペナルティの増加）、α = 2.02（小さなステップサイズ）、λ₂ = -0.04（非負制約の導入が必須であることを示唆）が含まれた。
• SISTA-RNN の性能は、3フレームのコンテキストと正確な初期状態推定を用いたオラクル初期化 ℓ₁-ホモトピー法でさえも上回った。
• 可視化結果から、学習済み辞書 D と予測行列 F は安定しており、データ構造に適切に適合していることが示された。