[論文レビュー] Learning to Adapt by Minimizing Discrepancy

Alexander G. Ororbia, Patrick Haffner+2 more|arXiv (Cornell University)|Nov 30, 2017

Generative Adversarial Networks and Image Synthesis参考文献 57被引用数 11

ひとこと要約

本稿では、時間的ニューラルコーディングネットワーク（TNCN）と、時間反転バックプロパゲーションを必要としない生物学的に妥当な教師なし時系列モデリングを可能にする学習アルゴリズム「不一致低減法」を提案する。上位から生成される予測と下位からの感覚入力との間の局所的予測不一致を再帰的フィードバックによって最小化することで、TNCNは、時間反転バックプロパゲーションを回避しながらも、バウンシングボールの生成モデリングタスクで競争力のある性能を達成した。これは、再帰的アーキテクチャにおけるバックプロパゲーションの代替手段として有効であることを示している。

ABSTRACT

We explore whether useful temporal neural generative models can be learned from sequential data without back-propagation through time. We investigate the viability of a more neurocognitively-grounded approach in the context of unsupervised generative modeling of sequences. Specifically, we build on the concept of predictive coding, which has gained influence in cognitive science, in a neural framework. To do so we develop a novel architecture, the Temporal Neural Coding Network, and its learning algorithm, Discrepancy Reduction. The underlying directed generative model is fully recurrent, meaning that it employs structural feedback connections and temporal feedback connections, yielding information propagation cycles that create local learning signals. This facilitates a unified bottom-up and top-down approach for information transfer inside the architecture. Our proposed algorithm shows promise on the bouncing balls generative modeling problem. Further experiments could be conducted to explore the strengths and weaknesses of our approach.

研究の動機と目的

• 時間反転バックプロパゲーションを必要としない、再帰的ニューラルネットワークの生物学的に妥当な学習アルゴリズムの開発。
• 階層的で再帰的なアーキテクチャにおいて、局所的予測不一致の最小化によって、教師なしで段階的な時系列学習を可能にすること。
• 入力空間の損失関数に依存せずに、局所的再構成誤差として測定される高レベルの目的が、効果的な表現学習を導けるかどうかの検討。
• 局所的フィードバック接続を用いて、脳における予測コーディングの原則を模倣するモデルの設計。
• バウンシングボール問題として知られる、挑戦的な教師なし時系列生成タスクにおけるモデル性能の評価。これは一般化能力と表現学習のベンチマークとして機能する。

提案手法

• 時間的ニューラルコーディングネットワーク（TNCN）は、構造的および時間的フィードバック接続を持つ完全な再帰的アーキテクチャであり、情報伝達サイクルを生成することで局所的学習信号を可能にする。
• 不一致低減法は、各層で上位からの生成予測と下位からの感覚入力との間の局所的予測誤差を計算する。
• これらの不一致は、局所的情報のみを用いて繰り返し重み更新を行うことで最小化され、ネットワークの内部表現が観測データに適合するように調整される。
• モデルは階層的構造を採用しており、上位層が下位層のためのより抽象的で誤差補正済みの表現ターゲットを生成する。これにより、段階的に予測精度が向上する。
• 学習プロセスは段階的かつ適応的であり、ストリーミングデータやオンライン学習環境に適している。
• 重み輸送問題を回避し、勾配の保存も不要であるため、生物学的妥当性に合致している。

実験結果

リサーチクエスチョン

• RQ1 局所的不一致最小化に基づく生物学的に妥当な学習アルゴリズムが、教師なし時系列モデリングにおいて競争力のある性能を達成できるか。
• RQ2 フィードバック接続を持つ完全な再帰的アーキテクチャが、時間反転バックプロパゲーションを用いずに意味のある時系列表現を学習できるか。
• RQ3 階層的各層における局所的予測誤差の最小化が、標準的なバックプロパゲーションベースのモデルよりも優れた生成モデリング性能をもたらすか。
• RQ4 下位から上位への情報と上位から下位への情報のみを用いるモデルが、表現学習においてグローバルな一貫性を達成できるか。
• RQ5 局所的ターゲットを生成する中間層を追加することで、モデルの複雑な時系列ダイナミクスの再構成能力にどのような影響を与えるか。

主な発見

• 3-TNCNモデルは、バウンシングボールベンチマークでテスト誤差 $3.03 \pm 0.14$ を達成し、時間反転バックプロパゲーションに依存する多数の先行モデルを上回った。
• 5-TNCNモデルはテスト誤差 $2.79 \pm 0.39$ を達成し、より深いアーキテクチャが誤差補正を改善することで性能向上をもたらすことを示した。
• 局所的ターゲットを生成するニューロン層を追加することで、モデル性能が顕著に向上した。これは、局所的ターゲットが効果的な表現学習を導く要因であることを示している。
• 時間反転バックプロパゲーションを使用しないにもかかわらず、モデルの性能は競争力を持ち続けた。これは、局所的不一致最小化が代替学習ルールとして有効である可能性を示唆している。
• アルゴリズムの段階的かつ適応的な性質は、データが逐次的に到着するオンライン学習や生涯学習のシナリオに非常に適している。
• 結果は、高レベルの目的（局所的再構成損失として測定）が、再帰的ネットワークにおける一貫性がありグローバルに整合した表現学習を導けるという仮説を支持している。