[論文レビュー] Recurrent Ladder Networks

Isabeau Prémont-Schwarz, Alexander Ilin+4 more|arXiv (Cornell University)|Jul 28, 2017

Generative Adversarial Networks and Image Synthesis被引用数 11

ひとこと要約

本稿では、メッセージ伝達ダイナミクスを時間軸に沿ってアンロールすることで反復推論と時系列モデリングを可能にする、Ladderネットワークの再帰的拡張版である再帰的ラッダーネットワーク（RLadder）を提案する。このアーキテクチャは、層間および時系列ステップ間のボトムアップ符号化、トップダウン復号、およびラテラル接続を統合し、動画モデリング、音楽生成、知覚的グループ化タスクにおいて最先端の性能を達成しており、半教師あり学習における顕著な向上とノイズの多い入力へのロバスト性を示している。

ABSTRACT

We propose a recurrent extension of the Ladder networks whose structure is motivated by the inference required in hierarchical latent variable models. We demonstrate that the recurrent Ladder is able to handle a wide variety of complex learning tasks that benefit from iterative inference and temporal modeling. The architecture shows close-to-optimal results on temporal modeling of video data, competitive results on music modeling, and improved perceptual grouping based on higher order abstractions, such as stochastic textures and motion cues. We present results for fully supervised, semi-supervised, and unsupervised tasks. The results suggest that the proposed architecture and principles are powerful tools for learning a hierarchy of abstractions, learning iterative inference and handling temporal information.

研究の動機と目的

• 階層的潜在変数モデルにおける反復的推論をサポートする深層学習アーキテクチャの開発。
• Ladderネットワークフレームワークを時系列依存性および順序データを扱えるように拡張すること。
• 1つの再帰的アーキテクチャ内で低レベルの再構成、中レベルのグループ化、高レベルの分類という複数の抽象化レベルを同時に学習可能にすること。
• 多層次元の監視とメッセージ伝達ダイナミクスを活用することで、半教師ありおよび教師なし学習タスクの性能を向上させること。
• 動画データにおける運動およびテクスチャの手がかりを用いた知覚的グループ化に、再帰的メッセージ伝達が有効であることを実証すること。

提案手法

• 各タイムステップでエンコーダーとデコーダーセルのスタックを全通りボトムアップおよびトップダウンに渡るパスを実行する再帰的アーキテクチャを採用する。
• 各タイムステップ t において、層 l のエンコーダーセルは、下位層からの入力（el−1(t)）、直前のタイムステップのデコーダー出力（dl(t−1)）、および自らの直前の状態（sl(t−1)）を受取り、関数 fs,l を用いて状態を更新する。
• エンコーダー出力 el(t) は、垂直方向に次の層へ、水平方向に次のタイムステップへ伝達される。
• 層 l のデコーダーセルは、現在のエンコーダー出力 el(t) と上位層からのデコーダー出力（dl+1(t)）を用い、関数 gl を用いて出力を計算する。
• 複数の抽象化レベルにおける損失の重み付き和を用いてネットワークを訓練する：入力レベルでの再構成、中間レベルでのセグメンテーション、およびトップレベルでの分類。
• 複数のレベルでの目的関数を統合することで、完全教師あり、半教師あり、教師なし学習が可能となり、タイムステップにわたる反復的精錬が実現される。

実験結果

リサーチクエスチョン

• RQ1 Ladderネットワークの再帰的拡張は、タイムステップ間での反復的推論を効果的にモデル化できるか？
• RQ2 RLadderアーキテクチャは、動画予測や音楽生成といった時系列モデリングタスクで性能を向上させられるか？
• RQ3 RLadderは、運動の手がかりや確率的テクスチャといった高次の抽象化を用いて知覚的グループ化を学習できるか？
• RQ4 再構成、セグメンテーション、分類という多層次元の監視は、半教師あり設定における学習効率と精度をどのように向上させるか？
• RQ5 複雑またはノイズの多い入力環境下でも、非再帰的アーキテクチャ（例：Tagger）と比較して、再帰的構造が学習を安定化させるか？

主な発見

• Brodatzテクスチャ付きMNISTデータセットでは、RTaggerは50,000件のラベル付き例を用いて、AMIスコア0.80 ± 0.01のセグメンテーション精度を達成し、Taggerおよびベースライン畳み込みネットワークを上回った。
• 1,000件のラベル付き例での半教師あり設定では、RTaggerは分類誤差22.6 ± 6.2%を達成し、ベースラインConvNetの88%誤差を著しく上回った。
• Moving MNISTデータセットでは、RTaggerは運動の手がかりを用いたオブジェクトセグメンテーションにおいて平均AMIスコア0.75を達成し、効果的な知覚的グループ化を示した。
• RTaggerモデルは反復ステップにわたって安定した学習進行を示し、性能が時間経過とともに向上した。これは、効果的な反復的推論を示している。
• 非再帰的ターゲットモデル（Tagger）とは対照的に、RTaggerはMoving MNISTタスクで3つのシードのうち2つで正常に学習が進行せず、再帰的構造が時系列モデリングにおいて顕著な利点を有することを示した。
• 高レベルの分類と低レベルの再構成タスクの共同最適化により、収束が速くなり、一般化性能が向上した。これは、抽象化レベル間の相互利益を示している。