[論文レビュー] Learning Ordered Representations with Nested Dropout

Oren Rippel, Michael A. Gelbart+1 more|arXiv (Cornell University)|Feb 5, 2014

Advanced Image and Video Retrieval Techniques参考文献 18被引用数 44

ひとこと要約

この論文は、隠れユニットのネストされた部分集合をマスクすることで階層的な順序を強制する確率的正則化法であるネストドロップアウトを導入する。半線形オートエノードで、ネストドロップアウトは同定可能性を強制し、PCA と正確に同等の関係を形成する。これにより、一意で順序付けられた表現が得られ、コード品質を損なわずに高速な対数時間オーダーの検索と適応的圧縮を可能にする。

ABSTRACT

In this paper, we study ordered representations of data in which different dimensions have different degrees of importance. To learn these representations we introduce nested dropout, a procedure for stochastically removing coherent nested sets of hidden units in a neural network. We first present a sequence of theoretical results in the simple case of a semi-linear autoencoder. We rigorously show that the application of nested dropout enforces identifiability of the units, which leads to an exact equivalence with PCA. We then extend the algorithm to deep models and demonstrate the relevance of ordered representations to a number of applications. Specifically, we use the ordered property of the learned codes to construct hash-based data structures that permit very fast retrieval, achieving retrieval in time logarithmic in the database size and independent of the dimensionality of the representation. This allows codes that are hundreds of times longer than currently feasible for retrieval. We therefore avoid the diminished quality associated with short codes, while still performing retrieval that is competitive in speed with existing methods. We also show that ordered representations are a promising way to learn adaptive compression for efficient online data reconstruction.

研究の動機と目的

• 表現学習における非同定性問題に対処すること。これは、置換や線形変換などの不変性により、複数の同等の解が存在するためである。
• 情報量の観点から、表現次元の事前順序付けを強制すること。これにより、各次元が直前の次元より少ない情報を捉えるように保証する。
• ハッシュベースのデータ構造を活用して、階層的構造を活かした効率的かつスケーラブルな高次元表現の検索を可能にすること。
• 各次元が再構築精度に徐々に少ない寄与をするように表現を学習することで、動的トリンケーションが可能な適応的圧縮を支援すること。

提案手法

• ネストドロップアウトは、隠れユニットのネストされた部分集合に確率的マスクを適用する。ユニット j が存在するならば、1 から j−1 までのすべてのユニットも存在する。
• この手法は、切断レベル b ∈ {1, ..., K} の確率分布を定義し、マスク S_b = {1, ..., b} を用いることで、階層的依存関係を誘発し、順序付けを強制する。
• 半線形オートエノードでは、ネストドロップアウトの下での最適化目的関数は、正規直交性を課した場合に一意のグローバル最適解に収束し、固有値分解を介してPCAと正確に同等である。
• 解の構造はブロック行列の逆行列計算および切断可換行列の性質を用いて導出され、最適なエンコーダおよびデコーダ行列が一意に決定されることを保証する。
• 結果として得られる表現の順序は、すべての切断において保持されるため、対数時間オーダーの検索が可能となる階層的ハッシュテーブルの構築が可能になる。
• この手法は、上位 k 個の次元のみを用いたオンライン再構築を可能にし、次元ごとの情報量の単調減少のおかげで、最小限の損失で高品質な再構築が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ネストドロップアウトは、置換および線形不変性を排除することで、表現学習における同定可能性を強制できるか？
• RQ2 半線形オートエノードにおけるネストドロップアウトは、PCA の解と一致する一意のグローバル最適解に収束するか？
• RQ3 ネストドロップアウトで学習された順序付き表現は、コード次元数に依存せず、データベースサイズに関して対数時間オーダーの検索を可能にするか？
• RQ4 ネストドロップアウト表現における次元ごとの情報量の減衰はどのようなものか？そして、これは適応的圧縮を可能にするか？
• RQ5 ネストドロップアウトの目的関数から生じる重み行列に対する構造的制約は何か？そして、これらは同定可能性をどのように保証するか？

主な発見

• 半線形オートエノードにおけるネストドロップアウトは、正規直交性制約のもとで、同定可能性を強制し、解空間を一意のグローバル最適解にまで縮小する。
• 一意の最適解は、データ共分散行列の上位 K 個の固有ベクトルからなる。固有値の大きさの順に並べられ、PCA と正確に同等であることが証明される。
• 最適なエンコーダおよびデコーダ行列は、切断と可換であり、かつ逆行列に対して可換な行列 T によって一意に決定される。正規直交性のもとでは T = I_K となる。
• 順序付き表現により、コード次元 K に依存しない O(log N) 時間で検索が可能なハッシュベースのデータ構造が構築可能であり、従来手法が可能としなかった数百倍の長さのコードが可能になる。
• この手法は、上位 k 個の次元のみを用いた高品質な再構築を可能にし、次元ごとの情報量の単調減少のおかげで、最小限の劣化で実現される。
• 理論的分析により、解が初期化の選択に依存せず、標準的なオートエノードやRBMで一般的に見られる非同定性の問題を回避することが確認された。