[論文レビュー] Rectified Factor Networks

Djork-Arné Clevert, Andreas Mayr+2 more|arXiv (Cornell University)|Feb 23, 2015

Evolutionary Algorithms and Applications参考文献 50被引用数 4

ひとこと要約

この論文では、事後正則化と一般化交互最小化アルゴリズムを組み合わせることで、スパースで非負で非線形かつ高次元の表現を学習する、Rectified Factor Networks (RFNs) を提案する。RFNs は、再構成誤差、スパarsity、共分散構造モデリングの面で最先端の性能を達成し、視覚およびゲノムデータセットにおいて、オートエンコーダーやRBM、従来の要因分析を上回っている。特に、まれな生物学的シグナルの検出に優れている。

ABSTRACT

We propose rectified factor networks (RFNs) to efficiently construct very sparse, non-linear, high-dimensional representations of the input. RFN models identify rare and small events in the input, have a low interference between code units, have a small reconstruction error, and explain the data covariance structure. RFN learning is a generalized alternating minimization algorithm derived from the posterior regularization method which enforces non-negative and normalized posterior means. We proof convergence and correctness of the RFN learning algorithm. On benchmarks, RFNs are compared to other unsupervised methods like autoencoders, RBMs, factor analysis, ICA, and PCA. In contrast to previous sparse coding methods, RFNs yield sparser codes, capture the data's covariance structure more precisely, and have a significantly smaller reconstruction error. We test RFNs as pretraining technique for deep networks on different vision datasets, where RFNs were superior to RBMs and autoencoders. On gene expression data from two pharmaceutical drug discovery studies, RFNs detected small and rare gene modules that revealed highly relevant new biological insights which were so far missed by other unsupervised methods.

研究の動機と目的

• 入力データの表現として、スパースで非負で非線形かつ高次元のものであり、解釈可能でかつ元のデータ構造を捉えることができる表現を学習する方法を開発すること。
• オートエンコーダーやRBMのような従来の教師なし手法が、データに依存せずにスパarsityと非負性を強制できないという限界を是正すること。
• 高次元データにおけるまれなイベントや小さなイベント（例：ゲノムにおけるまれな遺伝子モジュール、ECOMMERCEにおける希少なパターン）の検出を可能にすること。
• 勾配ベース最適化を用いることで、計算的に効率的かつ大規模データセットにスケーラブルな表現を学習すること。
• 畳み込みニューラルネットワークにおけるテスト誤差を低減する優れた第一層表現を提供することにより、ディープラーニングの事前学習を改善すること。

提案手法

• RFNs は、事後正則化を用いて、非負で正規化された事後平均を強制することで、入力データに依存せずにスパースで非負のコードを保証する。
• 一般化交互最小化（GAM）アルゴリズムを採用し、EステップとMステップの両方を勾配更新で実装することで、確率的最適化とGPUアクセcelerationを可能にする。
• 生成モデルは最尤推定に基づく要因分析に従い、隠れユニットにガウス事前分布を設定することで、入力データに対する事後平均の線形変換として効率的に計算可能となる。
• スパarsity は、整流（ReLUに類似）非線形性と事後正則化制約によって誘導され、負の値の防止と関連するコードユニットの活性化を促進する。
• 「説明の取り消し（explaining away）」を防ぐために正規化制約が適用され、すべての隠れユニットが表現に意味的に寄与するように保証される。
• アルゴリズムは収束性が保証され、正しく動作することが証明されており、非負でスパースで再構成誤差が低く、入力データの共分散構造を正確に説明するコードが得られる。

実験結果

リサーチクエスチョン

• RQ1 教師なしの深層表現手法として、入力データに依存せずにスパarsityと非負性を強制でき、一貫性があり解釈可能な符号化が可能か？
• RQ2 事後正則化と一般化交互最小化アルゴリズムを組み合わせることで、高次元でスパースな表現を学習するスケーラブルで収束性のある手法が得られるか？
• RQ3 RFNs は、再構成誤差とスパarsityの面で、標準的なオートエンコーダー、RBM、古典的要因分析を上回り、データの共分散をより正確にモデリングできるか？
• RQ4 RFNs は、他の教師なし手法が見逃すような、遺伝子発現データにおけるまれな遺伝子モジュールのような、まれで小さな生物学的シグナルを検出できるか？
• RQ5 RFN による事前学習は、CIFAR-10 や CIFAR-100 といった視覚ベンチマークで、ディープ畳み込みニューラルネットワークの一般化性能を向上させるか？

主な発見

• 視覚ベンチマークにおいて、AlexNetアーキテクチャでRFN事前学習によりCIFAR-10で0.17%、CIFAR-100で0.23%のテスト誤差低下が達成され、ランダム初期化を上回り、最先端モデルと同等またはそれを上回る性能を示した。
• 5C-NINアーキテクチャでは、CIFAR-10でテスト誤差が7.81%から7.63%に、CIFAR-100で29.96%から29.75%に低下し、アーキテクチャを問わず一貫した改善が確認された。
• 遺伝子発現データにおいて、RFNsは他の教師なし手法が同定できなかった、まれで小さな遺伝子モジュールを検出し、2件の製薬ドラッグディスカバリースタディーにおいても新たな生物学的知見を明らかにした。
• オートエンコーダー、RBM、PCA、ICA、要因分析よりも顕著に低い再構成誤差を達成した。CIFAR-10では平均誤差が81 ± 0であったのに対し、DAEは72 ± 0、RBMは3 ± 0であった。
• 他の手法に比べてよりスパースなコードを生成した。CIFAR-10では1サンプルあたりの活性ユニット平均数が81 ± 0であったのに対し、DAEは255 ± 6、RBMは525 ± 6であった。これは優れたスパarsityを示している。
• アルゴリズムは収束性が保証され、正しく動作することが証明されており、非負でスパースで再構成誤差が低く、入力データの共分散構造を正確に説明するコードが得られる。