[論文レビュー] A Pitfall of Unsupervised Pre-Training

Michele Alberti, Mathias Seuret+2 more|arXiv (Cornell University)|Nov 23, 2017

Human Resource Development and Performance Evaluation被引用数 4

ひとこと要約

この論文は、畳み込み自己符号化器（SCAE）を用いた教師なし事前学習によって得られた特徴量が、再構成のためのものであるという一般的な仮定に挑戦する。再構成性能と分類精度の間には相関がないことが証明され、再構成誤差はデコーダのバイアスのため、下流タスクにおける特徴量の質を指標とするものとして信頼できないことが示された。これは、再構成誤差を最小化することが特徴量の質を向上させるという根拠を揺るがすものである。

ABSTRACT

The point of this paper is to question typical assumptions in deep learning and suggest alternatives. A particular contribution is to prove that even if a Stacked Convolutional Auto-Encoder is good at reconstructing pictures, it is not necessarily good at discriminating their classes. When using Auto-Encoders, intuitively one assumes that features which are good for reconstruction will also lead to high classification accuracy. Indeed, it became research practice and is a suggested strategy by introductory books. However, we prove that this is not always the case. We thoroughly investigate the quality of features produced by Stacked Convolutional Auto-Encoders when trained to reconstruct their input. In particular, we analyze the relation between the reconstruction and classification capabilities of the network, if we were to use the same features for both tasks. Experimental results suggest that in fact, there is no correlation between the reconstruction score and the quality of features for a classification task. This means, more formally, that the sub-dimension representation space learned from the Stacked Convolutional Auto-Encoder (while being trained for input reconstruction) is not necessarily better separable than the initial input space. Furthermore, we show that the reconstruction error is not a good metric to assess the quality of features, because it is biased by the decoder quality. We do not question the usefulness of pre-training, but we conclude that aiming for the lowest reconstruction error is not necessarily a good idea if afterwards one performs a classification task.

研究の動機と目的

• 再構成性能が良いとされる自己符号化器の特徴量が、分類タスクにおいても優れているという広く共有された仮定を疑問視すること。
• 畳み込み自己符号化器（SCAE）が再構成を目的として学習した特徴量が、実際にクラス分離に有効であるかどうかを調査すること。
• 再構成誤差が表現学習における特徴量の質を評価するための信頼できる指標であるかどうかを評価すること。
• デコーダのアーキテクチャが再構成誤差にバイアスをもたらすことがあり、特徴量の有用性を正しく反映しないことの証明。
• 事前学習が有益であるとしても、再構成誤差を最小化することが下流の分類タスクにおいて最適ではない可能性を主張すること。

提案手法

• 標準的な学習目的に基づき、畳み込み自己符号化器（SCAE）を用いて入力画像の再構成を学習した。
• エンコーダの隠れ層から得られた特徴量を、下流の分類タスクに使用した。
• 再構成誤差（訓練データ上）と分類精度（同じデータ上）の両方を用いて、特徴量の質を評価した。
• 複数の実験設定において、再構成性能と分類性能の関係を比較した。
• デコーダのアーキテクチャが再構成誤差に与える影響を分析し、特定の特徴量にバイアスをもたらすかどうかを評価した。
• 制御された実験により、再構成品質と分類有効性の影響を分離した。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのSCAEから得た特徴量を用いた場合、再構成誤差と分類精度の間に有意な相関があるか？
• RQ2 高い再構成性能を達成しながらも、クラス分離に不適切な特徴量を学習できるか？
• RQ3 再構成誤差がデコーダネットワークの設計にどれほどバイアスを受けるか？
• RQ4 再構成誤差を最小化することは、分類タスクのためのより良い特徴量をもたらすか？
• RQ5 教師なし事前学習において、再構成誤差は特徴量の質の信頼できる代理指標と見なせるか？

主な発見

• 事前学習済みのスタックド畳み込み自己符号化器（SCAE）から得た特徴量を用いた場合、再構成誤差と分類精度の間に有意な相関はない。
• 再構成誤差が低いSCAEが学習する特徴量であっても、クラス分離に不適切であることがある。これは、再構成が優れた表現学習のための十分条件ではないことを示している。
• 再構成誤差は、デコーダの品質やアーキテクチャに依存してバイアスを受けるため、特徴量の有用性を評価する指標として信頼できない。
• 再構成が優れている場合でも、SCAEが学習する部分次元表現空間が元の入力空間よりも分離性が高いとは限らない。
• 事前学習中に再構成誤差を最小化しても、下流の分類タスクでの性能向上が保証されない。
• 本研究の結論として、事前学習は有用であるが、再構成誤差を特徴量学習の主な最適化目的とすべきではない。