[논문 리뷰] Towards a Hypothesis on Visual Transformation based Self-Supervision

Dipan K. Pal, Sreena Nallamothu외 1명|ArXiv.org|2019. 11. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 5

한 줄 요약

이 논문은 시각적 변환 기반 자기 지율 학습(VTSS) 가설을 제안하며, 이는 자기 지율 학습에서 시각적 변환이 데이터셋에 이미 존재하는 샘플로 매핑될 경우 표현 학습이 실패하고, 이로 인해 열열된 특징이 발생한다는 예측을 한다. 가설은 변환 충돌을 핵심 제약 조건으로 규명하며, 실험적으로 영역 이동과 체적 기반 자기 지율 학습이 회전만을 사용할 때보다 우수하며, 특히 조합 시에 더욱 뛰어난 성능을 보임을 입증한다.

ABSTRACT

We propose the first qualitative hypothesis characterizing the behavior of visual transformation based self-supervision, called the VTSS hypothesis. Given a dataset upon which a self-supervised task is performed while predicting instantiations of a transformation, the hypothesis states that if the predicted instantiations of the transformations are already present in the dataset, then the representation learned will be less useful. The hypothesis was derived by observing a key constraint in the application of self-supervision using a particular transformation. This constraint, which we term the transformation conflict for this paper, forces a network learn degenerative features thereby reducing the usefulness of the representation. The VTSS hypothesis helps us identify transformations that have the potential to be effective as a self-supervision task. Further, it helps to generally predict whether a particular transformation based self-supervision technique would be effective or not for a particular dataset. We provide extensive evaluations on CIFAR 10, CIFAR 100, SVHN and FMNIST confirming the hypothesis and the trends it predicts. We also propose novel cost-effective self-supervision techniques based on translation and scale, which when combined with rotation outperforms all transformations applied individually. Overall, this paper aims to shed light on the phenomenon of visual transformation based self-supervision.

연구 동기 및 목표

• 일부 시각적 변환 기반 자기 지율 학습 방법이 실패하거나 성공하는 이유에 대한 이론적 이해를 개발하는 것.
• 시각적 변환을 사용한 자기 지율 작업에서 표현 학습이 열열되는 근본 원인을 규명하는 것.
• 데이터셋 및 변환 특성에 기반해 변환 기반 자기 지율 학습의 효과성을 예측할 수 있는 가설을 제안하는 것.
• 가설을 실험적으로 검증하고, 새로운 이동 및 체적 기반 자기 지율 학습 작업을 통해 성능 향상을 보여주는 것.

제안 방법

• VTSS 가설을 제안: 변환된 샘플(g₁(x), g₂(x))이 이미 데이터셋에 존재할 경우, 변환 충돌로 인해 표현이 덜 유용해진다.
• 변환 충돌을 g(x)가 기존 데이터 포인트로 매핑되는 조건으로 정의하며, 이로 인해 네트워크가 열열된 특징을 학습하게 된다.
• 변환 충돌을 피하기 위해 가설에 기반해 이동과 체적 기반의 새로운 자기 지율 학습 작업을 도입한다.
• 자기 지율 학습에 4개의 컨볼루션 블록으로 구성된 CNN 아키텍처를 사용하고, 하류의 반도체 학습 분류 작업을 위해 1개의 컨볼루션 블록 헤드를 미세 조정한다.
• 자기 지율 학습 샘플 수, 지도 학습 샘플 수, 자기 지율 학습에 사용된 클래스 수를 변화시켜 분석 실험을 수행한다.
• 표준 선형 평가 프로토콜을 사용해 CIFAR-10, CIFAR-100, SVHN, FMNIST에서 결과를 검증한다.

실험 결과

연구 질문

• RQ1 시각적 변환 기반 자기 지율 학습이 어떤 조건에서 의미 있는 표현을 학습하지 못하는가?
• RQ2 변환 기반 자기 지율 학습에서 실패의 근본 원인은 무엇이며, 이를 형식적으로 기술할 수 있는가?
• RQ3 제안된 VTSS 가설이 주어진 데이터셋에 대해 어떤 변환이 효과적인지 예측할 수 있는가?
• RQ4 이동 및 체적 기반의 새로운 자기 지율 학습 작업이 회전 기반 방법에 비해 표현 품질에서 어떻게 비교되는가?
• RQ5 데이터 양과 클래스 다양성은 VTSS 작업의 성능에 어떤 영향을 미치는가?

주요 결과

• VTSS 가설은 변환된 샘플이 이미 데이터셋에 존재할 경우 변환 충돌로 인해 열열된 특징이 발생함으로써 자기 지율 학습이 실패할 것임을 정확하게 예측한다.
• 5픽셀 이동 기반 자기 지율 학습은 회전만을 사용할 때보다 우수하며, 5픽셀 이상 초과 시 수익 감소 현상이 나타나며, 8픽셀 이동 시 성능 저하가 발생한다.
• 체적 기반 자기 지율 학습은 CIFAR 데이터셋 내부의 체적 변동성으로 인해 제한된 효과를 보이며, 1~2픽셀 변형은 여전히 유용하다.
• 회전, 이동, 체적 기반 자기 지율 학습을 조합하면 개별 방법보다 뛰어난 성능을 보이며, 특히 CIFAR-10과 SVHN에서 두드러진다.
• VTSS를 사용한 자기 지율 모델의 성능은 동일한 양의 레이블 데이터로 학습된 반도체 학습 모델과 거의 동일한 수준이며, 높은 데이터 효율성을 보인다.
• VTSS 회전 학습에서 5개 클래스(5000개 샘플)로도 하류 성능가 포화 상태에 도달함을 시사하며, 더 많은 자기 지율 데이터로도 특징 다양성 향상에 한계가 있음을 나타낸다.