[論文レビュー] Zero-bias autoencoders and the benefits of co-adapting features

Kishore Konda, Roland Memisevic+1 more|arXiv (Cornell University)|Feb 13, 2014

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 37

ひとこと要約

本稿では、自己符号化器における隠れユニットの二重の役割（特徴の表現とスパarsityの強制）を、バイアスのない活性化関数に置き換えることで分離するゼロバイアス自己符号化器を提案する。負のバイアスを排除することで、追加の正則化を伴わず、よりロバストで高次元の表現を学習でき、順列不変性を考慮したCIFAR-10およびHollywood2行動認識ベンチマークで最先端の性能を達成する。

ABSTRACT

Regularized training of an autoencoder typically results in hidden unit biases that take on large negative values. We show that negative biases are a natural result of using a hidden layer whose responsibility is to both represent the input data and act as a selection mechanism that ensures sparsity of the representation. We then show that negative biases impede the learning of data distributions whose intrinsic dimensionality is high. We also propose a new activation function that decouples the two roles of the hidden layer and that allows us to learn representations on data with very high intrinsic dimensionality, where standard autoencoders typically fail. Since the decoupled activation function acts like an implicit regularizer, the model can be trained by minimizing the reconstruction error of training data, without requiring any additional regularization.

研究の動機と目的

• 正則化付き自己符号化器がトレーニング中に大きな負の隠れユニットバイアスを発生させる理由を調査すること。
• 負のバイアスが高固有次元データにおける表現学習に与える悪影響を特定すること。
• ゼロバイアスでリカチフィード線形活性化関数を用いることで、特徴表現とスパarsity強制を分離する新しい自己符号化器アーキテクチャを提案すること。
• このアプローチにより、ノイズ除去や収縮といった追加正則化を用いずに、再構成誤差のみを用いた有効なトレーニングが可能であることを示すこと。
• 画像および動画認識タスクを含む高次元データにおける性能を評価し、標準的自己符号化器よりも優れた一般化性能を示すこと。

提案手法

• 標準的なシグモイド関数やReLUに代わり、バイアスのないリカチフィード線形推論を用いる新しい活性化関数を提案：$ h(a) = \max(0, a) $、ただしプレアクティベーションにバイアス項を含まない。
• 隠れユニットの役割を分離：プレアクティベーションのしきい値処理による活性化選択（特徴選択）と、再構成における線形結合による係数表現。
• 再構成誤差の最小化を唯一のトレーニング目的とし、ノイズ除去や収縮といった明示的正則化の必要性を排除。
• プレアクティベーションがゼロを超えるとのみ活性化するスイッチング機構（TRecおよびTLin）を採用し、効果的に選択機構として機能させる。
• PCAホワイトニング処理を施したパッチを用いて画像および動画データにモデルを適用し、SVMおよびK-meansを用いた下流の認識パイプラインで特徴品質を評価。
• 推論方式の比較：バイアス付きリカチフィード線形、バイアスなしリカチフィード線形、シグモイドベース推論を比較し、順列不変性を考慮したCIFAR-10およびHollywood2データセットでの性能を測定。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的な正則化付き自己符号化器が隠れユニットに大きな負のバイアスを発生させるのか？
• RQ2 負のバイアスが高固有次元データにおける表現学習にどのように悪影響を及えるのか？
• RQ3 隠れユニットの選択機能と表現機能を分離することで、明示的正則化なしに特徴学習が向上するか？
• RQ4 ゼロバイアスでリカチフィード線形推論機構は、動画のような高次元データにおいて標準的自己符号化器を上回る性能を示せるか？
• RQ5 提案された活性化関数を用いる場合、再構成誤差のみで有効な自己符号化器のトレーニングが可能か？

主な発見

• 標準的自己符号化器における負のバイアスは、隠れユニットが活性化特徴の選択と係数表現の両方を担う二重の役割に起因して自然に生じる。
• 動画フレームのような高固有次元データにおいて、負のバイアスは複雑で分散型の表現を捉える能力を制限し、学習を妨げる。
• リカチフィード線形推論を用いる提案されたゼロバイアス自己符号化器は、順列不変性を考慮したCIFAR-10で平均50.4%の正確度を達成し、標準的な収縮型およびノイズ除去型自己符号化器を上回る。
• Hollywood2行動認識データセットでは、TRecおよびTLin自己符号化器が最高の性能を示し、局所的またはゲーテッド特徴を有するモデルを著しく上回った。
• テスト時にバイアスなしリカチフィード線形推論を用いることで、提案モデルおよび収縮型自己符号化器の両方で性能が向上し、そのロバスト性が確認された。
• 追加の正則化を一切用いずに、再構成誤差最小化のみに依存して最先端の結果を達成した。これは、新しい活性化関数が暗黙の正則化効果を有することを示している。