[論文レビュー] Deep Predictive Coding Networks

Rakesh Chalasani, José C. Prı́ncipe|arXiv (Cornell University)|Jan 16, 2013

Generative Adversarial Networks and Image Synthesis参考文献 13被引用数 33

ひとこと要約

本稿では、トップダウンフィードバックを用いて潜在表現の事前分布を動的に適応させる階層的生成モデルであるDeep Predictive Coding Networks（DPCN）を提案する。この手法により、時間変動する信号からの文脈に敏感なスパース特徴抽出が可能となり、構造的ノイズに対して高いロバスト性を示す。線形力学系におけるスパース状態のための新規推論手順を用いることで、高レベルの視覚的特徴を学習し、動画データ上で優れたオブジェクト形状のクラスタリングを実現した。

ABSTRACT

The quality of data representation in deep learning methods is directly related to the prior model imposed on the representations; however, generally used fixed priors are not capable of adjusting to the context in the data. To address this issue, we propose deep predictive coding networks, a hierarchical generative model that empirically alters priors on the latent representations in a dynamic and context-sensitive manner. This model captures the temporal dependencies in time-varying signals and uses top-down information to modulate the representation in lower layers. The centerpiece of our model is a novel procedure to infer sparse states of a dynamic model which is used for feature extraction. We also extend this feature extraction block to introduce a pooling function that captures locally invariant representations. When applied on a natural video data, we show that our method is able to learn high-level visual features. We also demonstrate the role of the top-down connections by showing the robustness of the proposed model to structured noise.

研究の動機と目的

• 固定された事前分布を有する深層学習の限界、すなわちデータの文脈に適応できない点を是正すること。
• 文脈的および時間的情報を基に事前分布を実証的に調整する階層的生成モデルの開発。
• トップダウンフィードバックを用いることで、構造的ノイズが存在する状況下でもデータ表現のロバスト性を向上させること。
• 動的システムにおける新規推論手順を用いて、動画シーケンスからスパースかつ局所的に不変な特徴を抽出すること。
• グリーディで階層的な教師なし学習を用いて、オブジェクト認識などのタスクに適した高レベルの視覚的特徴の学習を可能にすること。

提案手法

• トップダウンおよびボトムアップ接続を持つ一般化された状態空間モデルを採用し、階層的でマークフ・アーキテクチャにおいて潜在状態を推論する。
• 線形力学系からのスパース状態を抽出する新規推論手順を用い、スパースコーディングで一般的に見られる不安定性を低減する。
• 連続する特徴パッチを統合するプーリング関数を導入し、局所的に不変な表現を学習する。
• グリーディで階層的な教師なし学習を適用し、特徴抽出ブロックを深層階層に積み重ねる。
• 推論中に上位層からのトップダウン情報を下位層の事前分布を調整するために活用し、ロバスト性を向上させる。
• 各層の状態が隣接する層にのみ依存するようにモデルを構築し、マークフ連鎖として定式化することで、効率的な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 文脈的および時間的データに基づいて、深層生成モデルが潜在表現の事前分布を動的に適応させることができるか。
• RQ2 トップダウンフィードバックは、構造的ノイズが存在する状況下で特徴表現のロバスト性をどのように向上させるか。
• RQ3 提案されたスパース状態推論手順は、時間変動する動画シーケンスから安定的かつ特徴的な特徴を抽出できるか。
• RQ4 階層的構造は、生の動画入力から高レベルで抽象的な視覚的特徴をどの程度学習できるか。
• RQ5 トップダウンモードレーションの統合は、ノイズの多い動画シーケンスにおける異なるオブジェクトクラスの分離をどの程度向上させるか。

主な発見

• DPCNモデルは、自然な動画シーケンスから高レベルの視覚的特徴を効果的に学習し、トップ層の原因（causes）においてオブジェクト形状の明確なクラスタリングを実現した。
• ボトムアップ推論のみを用いる場合、散乱図においてクラスタが重複するなど、ノイズの多い動画シーケンスではオブジェクト形状の区別に失敗した。
• トップダウン情報が組み込まれた場合、重度の構造的ノイズ下でも3つのオブジェクト形状が明確に分離され、非重複なクラスタとして現れた。
• トップ層における原因の時間的整合性が、クラスタ間の滑らかな遷移をもたらし、安定的かつ一貫性のある表現学習を示した。
• トップダウンフィードバックの導入により、入力フレーム内のノイズや偽のオブジェクトから真のオブジェクトを明確に区別する能力が顕著に向上した。
• 提案されたスパース状態推論手順は、標準的なスパースコーディングに比べて不安定性を低減し、動的環境下での信頼性の高い特徴抽出を可能にした。