[논문 리뷰] Self-Supervised Feature Learning by Learning to Spot Artifacts

Simon Jenni, Paolo Favaro|arXiv (Cornell University)|2018. 06. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 42인용 수 10

한 줄 요약

이 논문은 인간의 레이블이 없이도 상태최저 성능을 달성하는 자기지도 학습 기반의 특징 학습 방법을 제안한다. 이 방법은 인코딩된 특징을 손상시켜 합성 아티팩트를 생성하고, 제한된 용량의 네트워크를 통해 복구함으로써 실제 이미지와 구분할 수 있도록 판별자 모델을 훈련시킨다. 전반적인 일관성과 누락된 특징 항목을 모두 탐지하도록 강제함으로써, 고품질의 이식 가능한 표현을 학습하게 되며, 이는 ImageNet, Pascal VOC, STL-10 벤치마크에서 인간의 레이블 없이도 최신 기준 성능을 달성한다.

ABSTRACT

We introduce a novel self-supervised learning method based on adversarial training. Our objective is to train a discriminator network to distinguish real images from images with synthetic artifacts, and then to extract features from its intermediate layers that can be transferred to other data domains and tasks. To generate images with artifacts, we pre-train a high-capacity autoencoder and then we use a damage and repair strategy: First, we freeze the autoencoder and damage the output of the encoder by randomly dropping its entries. Second, we augment the decoder with a repair network, and train it in an adversarial manner against the discriminator. The repair network helps generate more realistic images by inpainting the dropped feature entries. To make the discriminator focus on the artifacts, we also make it predict what entries in the feature were dropped. We demonstrate experimentally that features learned by creating and spotting artifacts achieve state of the art performance in several benchmarks.

연구 동기 및 목표

• 인간의 레이블 데이터 없이도 이식 가능한 시각적 특징을 학습하는 자기지도 학습 방법을 개발한다.
• 모델이 합성 아티팩트를 탐지하도록 훈련시킴으로써 의미적으로 유의미한 객체 표현을 학습할 수 있도록 사전 과제를 설계한다.
• 인코딩된 특징을 손상시키고 제한된 용량의 복구 네트워크를 사용하여 현실적이지만 손상된 이미지를 생성한다.
• 누락된 특징 항목의 위치를 예측하도록 판별자 모델을 훈련시켜 객체 수준의 세부 정보에 집중함으로써 일반화 능력을 향상시킨다.
• 다양한 표준 벤치마크에서 상태최저 성능의 이식 학습 성능을 달성한다.

제안 방법

• 고용량 오토에코더를 사전 훈련하여 이미지 표현을 학습한 후, 인코더를 고정한다.
• 특징 항목을 무작위로 제거하여 합성 아티팩트를 생성함으로써 인코딩된 특징을 손상시킨다.
• 손실된 항목을 보정하는 복구 네트워크를 디코더에 추가하지만, 완전한 복구를 방지하기 위해 용량을 제한한다.
• 실제 이미지와 손상된 이미지를 구분하도록 판별자를 적대적으로 훈련시키며, 동시에 손실된 항목의 마스크를 예측하도록 한다.
• 진짜 마스크를 사용하여 손실된 특징 위치에만 복구 네트워크의 업데이트를 제한함으로써 전반적인 일관성은 제한한다.
• 다음 작업에서 선형 분류기를 사용하기 위해 판별자의 중간 레이어에서 특징를 추출한다.

실험 결과

연구 질문

• RQ1 합성 아티팩트 탐지 기반의 자기지도 학습 방법이 기존의 사전 과제보다 이식 학습에서 더 뛰어난 성능을 낼 수 있는가?
• RQ2 손실된 특징의 위치를 예측하도록 판별자 모델을 요구함으로써 특징 품질과 일반화 능력이 향상되는가?
• RQ3 용량이 제한된 복구 네트워크가 현실적인 이미지를 생성하면서도 판별자가 감지할 수 있는 전반적인 일관성의 손상을 유지할 수 있는가?
• RQ4 제안된 방법이 ImageNet, Pascal VOC, STL-10와 같은 표준 벤치마크에서 최고의 성능을 달성하는가?
• RQ5 판별자가 학습한 특징가 표준 GAN이나 오토에코더 설정보다 더 의미 있는 의미론적 특징을 가지는가?

주요 결과

• 제안된 방법은 고정된 특징에 선형 분류기를 적용했을 때 ImageNet에서 19.5%의 top-1 정확도를 달성하여 표표 4에 나열된 모든 이전 자기지도 학습 방법을 능가한다.
• Places 데이터셋에서, 이 방법은 conv5 레이어에서 37.3%의 top-1 정확도를 기록했으며, 표표 5에 비교된 모든 방법 중에서 가장 높은 성능을 기록했다.
• Grad-CAM 시각화 결과에 따르면 판별자는 머리, 다리와 같은 객체 부분에 집중하는 것으로 나타나 의미론적 주의를 보이고 있다.
• 판별자의 첫 번째 합성곱 레이어에서 추출한 특징는 Places에서 23.3%의 정확도를 기록했으며, 동일한 레이어에서의 감독 학습 기반 ImageNet 사전 훈련 성능을 略로 초월했다.
• 모든 평가된 벤치마크에서 Noroozi 등 [29]과 Zhang 등 [45]의 이전 자기지도 접근법보다 뛰어난 성능을 보였다.
• 정성적 분석 결과, 판별자는 경계 검출기와 유사한 특징, 객체 부분 인식 특징을 학습하는 것으로 나타났으며, 감독 학습 모델과 유사한 특징을 학습한다.