[論文レビュー] Marginalized Denoising Autoencoders for Domain Adaptation

Minmin Chen, Zhixiang Xu+2 more|arXiv (Cornell University)|Jun 18, 2012

Topic Modeling参考文献 26被引用数 520

ひとこと要約

本稿では、ドメイン適応のためのスタックドノイズ除去オートエノード（SDA）のスケーラブルな代替手法として、マージナライズドノイズ除去オートエノード（mSDA）を提案する。トレーニング中にノイズをマージナライズすることにより、mSDAは閉形式でパラメータを計算し、確率的最適化の必要性を排除することで、トレーニングを2桁以上高速化しながら、ベンチマークスコア感情分析タスクでSDAと同等のパフォーマンスを維持する。

ABSTRACT

Stacked denoising autoencoders (SDAs) have been successfully used to learn new representations for domain adaptation. Recently, they have attained record accuracy on standard benchmark tasks of sentiment analysis across different text domains. SDAs learn robust data representations by reconstruction, recovering original features from data that are artificially corrupted with noise. In this paper, we propose marginalized SDA (mSDA) that addresses two crucial limitations of SDAs: high computational cost and lack of scalability to high-dimensional features. In contrast to SDAs, our approach of mSDA marginalizes noise and thus does not require stochastic gradient descent or other optimization algorithms to learn parameters ? in fact, they are computed in closed-form. Consequently, mSDA, which can be implemented in only 20 lines of MATLAB^{TM}, significantly speeds up SDAs by two orders of magnitude. Furthermore, the representations learnt by mSDA are as effective as the traditional SDAs, attaining almost identical accuracies in benchmark tasks.

研究の動機と目的

• 高次元設定におけるスタックドノイズ除去オートエノード（SDA）の高い計算コストとスケーラビリティの低さに対処すること。
• 反復的最適化に依存せずに、効率的かつスケーラブルな表現学習をドメイン適応に可能にすること。
• ノイズ除去オートエノードのロバストネスを維持しながら、トレーニング時間を大幅に短縮する手法を開発すること。
• 特にクロスドメイン感情分析において、標準ベンチマークタスクでSDAと同等のパフォーマンスを達成すること。

提案手法

• mSDAはトレーニング中にノイズを統合することで、最適化中にサンプリングの必要性を回避するマージナライズドノイズ除去オートエノードを導入する。
• ノイズ分布に対する解析的マージナライゼーションにより、反復的最適化なしにモデルパラメータを閉形式で計算する。
• 重みが共有されたオートエノードのスタックを用いるアーキテクチャで、エンコーダーとデコーダーがマージナライズド再構成目的関数に基づき同時に学習される。
• ノイズは入力層に適用され、モデルはノイズ分布上の期待再構成誤差を最小化することで、元のクリーンな入力を再構成するように学習する。
• 閉形式解により、MATLABでたった20行のコードで実装可能となり、トレーニング速度が著しく向上する。
• 腐敗と再構成を通じて不変表現を学習することで、ノイズ除去オートエノードのロバストネスを保持する。

実験結果

リサーチクエスチョン

• RQ1 反復的最適化の必要性を排除しつつ、ノイズ除去オートエノードのロバストネスを維持できるか？
• RQ2 ノイズをマージナライズすることにより、ドメイン適応タスクで標準的なSDAと同等のパフォーマンスが得られるか？
• RQ3 本手法は、テキスト分類におけるような高次元特徴に効果的にスケーリングできるか？
• RQ4 SDAにおける確率的勾配降下法と比較して、閉形式パラメータ計算はどれほど高速か？
• RQ5 mSDAの表現品質は、標準ベンチマークドメイン適応タスクで最先端のパフォーマンスを達成するのに十分か？

主な発見

• mSDAは標準的なSDAと比較して、最大2桁のトレーニングスピードアップを達成し、トレーニング時間を顕著に短縮する。
• 本手法は、クロスドメイン感情分析を含む標準ベンチマークタスクで、SDAとほぼ同一の精度を達成する。
• 閉形式パラメータ計算により、MATLABでたった20行のコードで実装可能となる。
• マージナライズドノイズ除去アプローチは、ノイズ注入と再構成を通じて不変表現を学習することで、SDAのロバストネスを維持する。
• mSDAは高次元特徴を効果的に処理でき、従来のSDAが計算コストのため困難とされる場面でもスケーラブルであることを示す。
• mSDAのパフォーマンスは、ベンチマークデータセットで最先端の手法と同等であり、実用的妥当性を確認する。