[論文レビュー] Autoencoder Trees

Ozan İrsoy, Ethem Alpaydın|arXiv (Cornell University)|Sep 26, 2014

Neural Networks and Applications参考文献 5被引用数 6

ひとこと要約

本稿では、符号化と復号化の両方をソフトデシジョンツリーを用いて行う、新しい深層学習モデル「オートエンコーダーツリー」を提案する。このモデルは、勾配降下法を用いて連続的で微分可能なツリーを学習し、手書き数字データセットおよびニュースデータセットにおいて、階層的で低次元の表現を強力な再構成性能で学習する。

ABSTRACT

We discuss an autoencoder model in which the encoding and decoding functions are implemented by decision trees. We use the soft decision tree where internal nodes realize soft multivariate splits given by a gating function and the overall output is the average of all leaves weighted by the gating values on their path. The encoder tree takes the input and generates a lower dimensional representation in the leaves and the decoder tree takes this and reconstructs the original input. Exploiting the continuity of the trees, autoencoder trees are trained with stochastic gradient descent. On handwritten digit and news data, we see that the autoencoder trees yield good reconstruction error compared to traditional autoencoder perceptrons. We also see that the autoencoder tree captures hierarchical representations at different granularities of the data on its different levels and the leaves capture the localities in the input space.

研究の動機と目的

• ニューラルネットワークの代わりにデシジョンツリーを用いた微分可能なオートエンコーダー・アーキテクチャの開発を目的とする。
• ツリー構造のエンコーダーとデコーダーを通じて、複数の粒度における階層的表現学習を可能にする。
• MNIST やニュースデータなど、ベンチマークデータセットにおいて競争力のある再構成誤差を達成すること。
• 入力空間における局所的構造を、デシジョンツリーに基づくオートエンコーダーが捉えることができるかを示すこと。

提案手法

• エンコーダーは、入力を低次元の潜在空間にマップするためのソフトデシジョンツリーを用い、出力はリーフノードの重み付き平均として得られる。
• デコーダーは、潜在表現から元の入力を再構成するための第二のソフトデシジョンツリーを採用する。
• ソフトスプリットは、ツリー内のパスへの連続的注意重みを割り当てるゲーティング関数によって実装される。
• モデル全体は、ソフトツリー構造の連続性を活かして、確率的勾配降下法を用いてエンド・ツー・エンドで訓練される。
• 各ツリーの出力は、入力の微分可能で連続的な関数として得られ、バックプロパゲーションが可能になる。
• 異なるツリーのレベルが、さまざまな粒度の特徴を捉える階層的表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 デシジョンツリーをオートエンコーダーフレームワークにおけるエンコーダーおよびデコーダーとして効果的に使用できるか？
• RQ2 従来のパーセプトロンベースのオートエンコーダーと比較して、オートエンコーダーツリーの入力データ再構成性能はどの程度か？
• RQ3 オートエンコーダーツリーは、ツリー構造の異なるレベルにおいて階層的表現を学習するか？
• RQ4 ソフトデシジョンツリーのアーキテクチャは、入力空間における局所的構造を捉えることができるか？

主な発見

• オートエンコーダーツリーは、手書き数字データセットおよびニュースデータセットにおいて、従来のオートエンコーダーパーセプトロンと同等の良好な再構成誤差を達成する。
• モデルは、ツリー構造の異なるレベルにおいて、複数の粒度の階層的表現を捉えている。
• エンコーダーツリーのリーフノードは、入力空間における局所的領域に対応しており、局所的特徴の学習が行われていることを示している。
• ソフトデシジョンツリーのアーキテクチャのおかげで、連続的かつ微分可能であるため、確率的勾配降下法によるエンド・ツー・エンドの訓練が可能になる。
• モデルは、デシジョンツリーが深層オートエンコーディングアーキテクチャにおいて効果的で解釈可能なコンponentsとして機能できることを示している。