[論文レビュー] Gated networks: an inventory

Olivier Sigaud, Clément Masson+2 more|arXiv (Cornell University)|Dec 10, 2015

Neural Networks and Applications参考文献 43被引用数 14

ひとこと要約

この論文は、三つ組の関係をモデル化するための複数の入力源間の乗法的相互作用（ゲーティング）を用いる神経ネットワークアーキテクチャ、すなわちゲート付きネットワークの包括的サーベイを提示する。その対称的で表現力に富んだ構造を説明し、マルチモodal学習、ロボティクス、シーケンスモデリングにおける多様な応用をリストアップするとともに、階層的アーキテクチャーや文脈学習フレームワークとの統合といった未だ未開拓の研究分野を特定する。

ABSTRACT

Gated networks are networks that contain gating connections, in which the outputs of at least two neurons are multiplied. Initially, gated networks were used to learn relationships between two input sources, such as pixels from two images. More recently, they have been applied to learning activity recognition or multi-modal representations. The aims of this paper are threefold: 1) to explain the basic computations in gated networks to the non-expert, while adopting a standpoint that insists on their symmetric nature. 2) to serve as a quick reference guide to the recent literature, by providing an inventory of applications of these networks, as well as recent extensions to the basic architecture. 3) to suggest future research directions and applications.

研究の動機と目的

• ゲート付きネットワークにおける基本的計算を、その対称的かつ乗法的な構造に重点を置いて、理解しやすい形で説明すること。
• アクティビティ認識、ロボティクス、マルチモーダル表現学習などの分野における、最近の応用とアーキテクチャ的拡張のリファレンスインventorieとしての役割を果たすこと。
• 階層的ゲーティング、文脈学習との統合、ゲート付きネットワークにおける2次最適化といった、未だ未開拓の研究分野を特定すること。

提案手法

• 論文は、出力が複数のニューロン活性の積として計算される標準的なゲート付きネットワークアーキテクチャを導入し、これにより入力源間の乗法的相互作用が可能になることを説明する。
• 2種類のゲーティングを形式化する：(1)ルーティング／スイッチング（例：LSTM風）、(2)乗法的モodulation（例：ゲート付きオートエンコーダ、乗法的RNN）。
• パラメータ数を削減しながら表現力を維持するため、テンソル因子分解を用いてアーキテクチャを一般化する。
• 教師あり微調整と教師なし事前学習のメカニズムを調査し、バックプロパゲーションスルータイム（BPTT）やヘシアンフリーオプティマイゼーションを含む。
• 畳み込みゲート付きRBM、ゲート付きオートエンコーダ（GAEs）、シーケンスモデリング向けの予測ゲーティングピラミッド（PGP）といった特殊な変種をレビューする。
• 標準的なバックプロパゲーションではなく、2次最適化（ヘシアンフリーオプティマイゼーション）を用いて訓練された乗法的RNNの使用に注目する。

実験結果

リサーチクエスチョン

• RQ1 ゲート付きネットワークは、状態、行動、次状態といった3つの相互依存的要因間の関係を、標準的なディープネットワークよりも自然にどのようにモデル化するのか？
• RQ2 ゲート付きネットワークの主なアーキテクチャ的変種は何か？それらは構造的・学習メカニズムの観点でどのように異なるのか？
• RQ3 ゲート付きネットワークは、標準的なディープラーニングモデルと比較して、どのような応用分野で優れたまたは画期的な能力を示したのか？
• RQ4 ゲート付きネットワークの対称的かつ乗法的な性質を活用することで、制御タスクにおける前向きモデルと逆方向モデルの学習を統合的に扱うことは可能か？
• RQ5 現在の応用を超えて、ゲート付きネットワークを拡張する上で最も有望な今後の研究分野は何か？

主な発見

• ゲート付きネットワークは、入力源間の乗法的相互作用を可能にすることで、神経ネットワークの表現力を著しく向上させ、標準的なネットワークがこのような関係をモデル化するのには指数関数的なパラメータ増加を要するのを回避する。
• ヘシアンフリーオプティマイゼーションを用いて訓練された乗法的RNNアーキテクチャは、シーケンス予測タスクにおいて標準的なRNNよりも優れた性能を示すが、計算コストの高さのため広く採用されていない。
• ゲート付きネットワークは、動画やKinectデータからの人間のアクティビティ認識、およびiCubロボットにおける画像、音声、運動行動の共同表現学習といったマルチモーダル学習に成功裏に応用されている。
• 予測ゲーティングピラミッド（PGP）モデルは、複数の時間ステップにわたるシーケンス予測を、GAEの階層を用いて行うが、1ステップごとに1つのGAEを必要とするため、スケーラビリティに制限がある。
• 畳み込みゲート付きRBMとGAEは、ステレオ画像系列からの時空間特徴抽出に有効であることが示され、アクティビティ認識やビジュアルオドメトリに応用されている。
• その潜在能力にもかかわらず、ゲート付きネットワークは、文脈学習や階層的アーキテクチャと組み合わせた分野では依然として未開拓な分野が多く存在する。