[論文レビュー] What You Expect is NOT What You Get! Questioning Reconstruction/Classification Correlation of Stacked Convolutional Auto-Encoder Features.

Michele Alberti, Mathias Seuret+2 more|arXiv (Cornell University)|Mar 13, 2017

Handwritten Text Recognition Techniques参考文献 15被引用数 3

ひとこと要約

この論文は、再構成スコアが高いために特徴量が分類に適しているという仮定に挑戦する。スタックド畳み込み自己符号化器を用いて、再構成性能がデコーダの品質に偏っていることを示し、分類精度とは一貫した相関関係がないことを示している。結論として、分類能力は独立して評価されるべきである。

ABSTRACT

In this paper, we thoroughly investigate the quality of features produced by deep neural network architectures obtained by stacking and convolving Auto-Encoders. In particular, we are interested into the relation of their reconstruction score with their performance on document layout analysis. When using Auto-Encoders, intuitively one could assume that features which are good for reconstruction will also lead to high classification accuracies. However, we prove that this is not always the case. We examine the reconstruction score, training error and the results obtained if we were to use the same features for both input reconstruction and a classification task. We show that the reconstruction score is not a good metric because it is biased by the decoder quality. Furthermore, experimental results suggest that there is no correlation between the reconstruction score and the quality of features for a classification task and that given the network size and configuration it is not possible to make assumptions on its training error magnitude. Therefore we conclude that both, reconstruction score and training error should not be used jointly to evaluate the quality of the features produced by a Stacked Convolutional Auto-Encoders for a classification task. Consequently one should independently investigate the network classification abilities directly.

研究の動機と目的

• スタックド畳み込み自己符号化器が高スコアの再構成性能を示す特徴量が、分類タスクに対しても有効であるかどうかを調査すること。
• デコーダの品質が再構成スコアに与える影響と、それが特徴量の質を測る指標としての信頼性に与える影響を検討すること。
• ネットワークのサイズと構成から、訓練誤差の大きさを予測できるかどうかを評価すること。
• スタックド畳み込み自己符号化器において、再構成性能と分類性能の間に相関関係があるかどうかを確認すること。
• 再構成誤差や訓練誤差を間接的指標として用いるのではなく、分類性能を直接評価すべきであるという主張をすること。

提案手法

• ドキュメントレイアウトデータ上でスタックド畳み込み自己符号化器を訓練し、エンコーダ・デコーダ学習によって階層的特徴を学習した。
• 再構成スコアは、入力画像と再構成画像の平均誤差として計算され、特徴量の質の代理指標として用いられた。
• 同じく学習された特徴量を再構成タスクと下流の分類タスクの両方で使用し、性能を比較した。
• 最適化の過程で訓練誤差をモニタリングし、一般化行動を評価した。
• モデル容量と誤差の大きさの関係を分析するために、さまざまなネットワークアーキテクチャとサイズで実験を行った。
• レイアウト解析における特徴量の有効性を評価するために、同じ特徴量を用いて分類性能を独立して評価した。

実験結果

リサーチクエスチョン

• RQ1 スタックド畳み込み自己符号化器において、再構成スコアと分類精度の間に有意な相関関係があるか？
• RQ2 再構成スコアは、デコーダネットワークの品質にどの程度依存しているか？
• RQ3 ネットワークのサイズと構成から、訓練誤差の大きさを信頼性を持って予測できるか？
• RQ4 再構成スコアと訓練誤差は、分類タスクにおける特徴量の質を測る信頼できる代理指標として使えるか？
• RQ5 再構成や訓練指標とは独立して、分類性能を評価する必要があるか？

主な発見

• 再構成スコアはデコーダの品質に強く偏っており、特徴量の質を測る指標として信頼性が低い。
• ドキュメントレイアウト解析において、再構成スコアと分類性能の間に有意な相関関係は認められなかった。
• ネットワークのサイズと構成からのみでは、訓練誤差の大きさを信頼性を持って予測することはできない。
• 入力をよく再構成する特徴量が、必ずしも高い分類精度をもたらすわけではない。
• 本研究は、再構成スコアと訓練誤差を組み合わせて特徴量の質を評価すべきでないと結論づけた。
• 分類性能の直接的評価は不可欠であり、再構成や訓練指標とは独立して実施されるべきである。