[논문 리뷰] What You Expect is NOT What You Get! Questioning Reconstruction/Classification Correlation of Stacked Convolutional Auto-Encoder Features.

Michele Alberti, Mathias Seuret외 2명|arXiv (Cornell University)|2017. 03. 13.

Handwritten Text Recognition Techniques참고 문헌 15인용 수 3

한 줄 요약

이 논문은 고정성 점수가 높은 오토인코더 특징이 분류 작업에 본질적으로 유용하다는 가정을 도전한다. 쌓인 합성곱 오토인코더를 사용하여 복원 성능이 디코더 품질에 의해 편향됨을 보이며, 분류 정확도와의 신뢰할 수 있는 상관관계가 없음을 입증한다. 따라서 분류 능력은 별도로 평가되어야 한다.

ABSTRACT

In this paper, we thoroughly investigate the quality of features produced by deep neural network architectures obtained by stacking and convolving Auto-Encoders. In particular, we are interested into the relation of their reconstruction score with their performance on document layout analysis. When using Auto-Encoders, intuitively one could assume that features which are good for reconstruction will also lead to high classification accuracies. However, we prove that this is not always the case. We examine the reconstruction score, training error and the results obtained if we were to use the same features for both input reconstruction and a classification task. We show that the reconstruction score is not a good metric because it is biased by the decoder quality. Furthermore, experimental results suggest that there is no correlation between the reconstruction score and the quality of features for a classification task and that given the network size and configuration it is not possible to make assumptions on its training error magnitude. Therefore we conclude that both, reconstruction score and training error should not be used jointly to evaluate the quality of the features produced by a Stacked Convolutional Auto-Encoders for a classification task. Consequently one should independently investigate the network classification abilities directly.

연구 동기 및 목표

• 고정성 점수가 높은 쌓인 합성곱 오토인코더가 분류 작업에 효과적인가를 조사하기 위해.
• 디코더 품질이 고정성 점수에 미치는 영향과 그 점수가 특징 품질의 지표로서의 신뢰성에 미치는 영향을 검토하기 위해.
• 학습 오차 크기를 네트워크 크기와 구성으로부터 예측할 수 있는가를 평가하기 위해.
• 쌓인 합성곱 오토인코더에서 고정성과 분류 성능 간에 상관관계가 있는가를 확인하기 위해.
• 복원 또는 학습 오차를 간접 지표로 사용하는 것에 의존하기보다는 직접적인 분류 성능 평가를 주장하기 위해.

제안 방법

• 문서 레이아웃 데이터에 대해 쌓인 합성곱 오토인코더를 학습시켜 인코더-디코더 학습을 통해 계층적 특징을 학습하기 위해.
• 입력과 재구성된 이미지 간 평균 오차로서 고정성 점수를 계산하여 특징 품질의 지표로 사용하기 위해.
• 동일한 학습된 특징을 복원과 후행 분류 작업 양자에 모두 사용하여 성능을 비교하기 위해.
• 일반화 행동을 평가하기 위해 최적화 동안 학습 오차를 모니터링하기 위해.
• 모델 용량과 오차 크기 간의 관계를 분석하기 위해 다양한 네트워크 아키텍처와 크기로 실험을 수행하기 위해.
• 레이아웃 분석을 위한 특징의 유용성을 평가하기 위해 동일한 특징을 사용하여 분류 성능을 별도로 평가하기 위해.

실험 결과

연구 질문

• RQ1 쌓인 합성곱 오토인코더에서 고정성 점수와 분류 정확도 사이에 유의미한 상관관계가 있는가?
• RQ2 고정성 점수는 디코더 네트워크의 품질에 얼마나 영향을 받는가?
• RQ3 학습 오차의 크기를 네트워크 크기와 구성으로부터 신뢰성 있게 예측할 수 있는가?
• RQ4 고정성 점수와 학습 오차는 분류 작업에서 특징 품질의 신뢰할 수 있는 지표로 사용될 수 있는가?
• RQ5 복원 및 학습 지표와 별개로 분류 성능 평가가 반드시 필요한가?

주요 결과

• 고정성 점수는 디코더 품질에 의해 크게 편향되어 있어 특징 품질의 지표로 신뢰할 수 없다.
• 문서 레이아웃 분석에서 고정성 점수와 분류 성능 간에 유의미한 상관관계가 발견되지 않았다.
• 네트워크 크기와 구성만으로는 학습 오차 크기를 신뢰성 있게 예측할 수 없다.
• 입력을 잘 복원하는 특징이 반드시 높은 분류 정확도를 이끌어내는 것은 아니다.
• 연구는 고정성 점수와 학습 오차를 함께 사용하여 특징 품질을 평가하는 것을 권장하지 않는다.
• 직접적인 분류 성능 평가는 필수적이며, 복원 또는 학습 지표와 별개로 수행되어야 한다.