[논문 리뷰] A Pitfall of Unsupervised Pre-Training

Michele Alberti, Mathias Seuret외 2명|arXiv (Cornell University)|2017. 11. 23.

Human Resource Development and Performance Evaluation인용 수 4

한 줄 요약

이 논문은 복원 성능과 분류 정확도 간의 상관관계가 없음을 증명하며, 복원 오차가 특징 품질의 지표로 사용되는 것의 타당성을 도전한다. 스택드 컨볼루션 오토에인드의 디코더 편향으로 인해 복원 오차는 특징 품질을 평가하는 데에 부적절한 지표가 되며, 이는 후속 작업에서 복원 손실을 최소화하는 것이 특징 품질 향상의 대체 지표로 작용한다는 가정을 뒤엎는다.

ABSTRACT

The point of this paper is to question typical assumptions in deep learning and suggest alternatives. A particular contribution is to prove that even if a Stacked Convolutional Auto-Encoder is good at reconstructing pictures, it is not necessarily good at discriminating their classes. When using Auto-Encoders, intuitively one assumes that features which are good for reconstruction will also lead to high classification accuracy. Indeed, it became research practice and is a suggested strategy by introductory books. However, we prove that this is not always the case. We thoroughly investigate the quality of features produced by Stacked Convolutional Auto-Encoders when trained to reconstruct their input. In particular, we analyze the relation between the reconstruction and classification capabilities of the network, if we were to use the same features for both tasks. Experimental results suggest that in fact, there is no correlation between the reconstruction score and the quality of features for a classification task. This means, more formally, that the sub-dimension representation space learned from the Stacked Convolutional Auto-Encoder (while being trained for input reconstruction) is not necessarily better separable than the initial input space. Furthermore, we show that the reconstruction error is not a good metric to assess the quality of features, because it is biased by the decoder quality. We do not question the usefulness of pre-training, but we conclude that aiming for the lowest reconstruction error is not necessarily a good idea if afterwards one performs a classification task.

연구 동기 및 목표

• 좋은 복원 성능이 분류를 위한 좋은 특징 품질을 암시한다는 널리 퍼진 가정을 의심하는 것.
• 스택드 컨볼루션 오토에인드(SCAEs)가 복원을 위해 학습한 특징이 실제로 분류 구분에 효과적인지 조사하는 것.
• 복원 오차가 표현 학습에서 특징 품질을 평가하는 데 신뢰할 수 있는 지표인지 평가하는 것.
• 디코더 아키텍처가 복원 오차에 영향을 주어 그 결과로 특정 특징에 편향을 줄 수 있음을 보여주는 것.
• 사전 훈련이 유용할 수는 있지만, 복원 오차를 최소화하는 것이 후속 분류 작업에 최적의 특징 학습을 이끌지 못할 수 있음을 주장하는 것.

제안 방법

• 표준 훈련 목표를 사용하여 입력 이미지를 복원하는 데 스택드 컨볼루션 오토에인드(SCAEs)를 훈련시킴.
• 후속 분류 작업에 사용하기 위해 인코더의 히든 레이어에서 학습된 특징을 추출함.
• 훈련 세트에서의 복원 오차와 동일한 데이터에서의 분류 정확도를 사용하여 특징 품질을 평가함.
• 다양한 실험 설정에서 복원 성능과 분류 성능을 비교함.
• 디코더 아키텍처가 복원 오차에 미치는 영향을 분석하여 그 편향을 평가함.
• 통제된 실험을 통해 복원 품질과 분류 유용성의 영향을 분리함.

실험 결과

연구 질문

• RQ1 사전 훈련된 SCAE의 특징을 사용할 때 복원 오차와 분류 정확도 사이에 유의미한 상관관계가 있는가?
• RQ2 높은 복원 성능을 달성하면서도 분류 구분에 뛰어나지 않은 특징을 학습할 수 있는가?
• RQ3 복원 오차가 디코더 네트워크의 설계에 얼마나 편향되어 있는가?
• RQ4 복원 오차를 최소화하는 것이 분류 작업을 위한 더 나은 특징을 이끌어내는가?
• RQ5 비지도 사전 훈련에서 복원 오차는 특징 품질의 신뢰할 수 있는 대체 지표인가?

주요 결과

• 사전 훈련된 스택드 컨볼루션 오토에인드에서 특징을 사용할 때 복원 오차와 분류 정확도 사이에 유의미한 상관관계가 없다.
• 낮은 복원 오차를 가진 SCAEs가 학습한 특징가 여전히 분류 구분에 뛰어나지 않을 수 있으며, 이는 복원만으로는 좋은 표현 학습이 보장되지 않음을 시사한다.
• 복원 오차는 디코더의 품질과 아키텍처에 의해 편향되며, 이는 특징 유용성 평가에 신뢰할 수 없는 지표가 됨.
• 복원 성능이 뛰어나도 SCAEs가 학습한 부분 차원 표현 공간이 원본 입력 공간만큼 분리 가능성이 높지 않을 수 있음.
• 사전 훈련 중에 복원 오차를 최소화한다고 해서 후속 분류 작업에서 성능 향상이 보장되지 않음.
• 연구 결과는 사전 훈련이 유용할 수는 있지만, 복원 오차는 특징 학습을 위한 주요 최적화 목표로 사용되어서는 안 된다고 결론내림.