[논문 리뷰] Self-supervised Representation Learning From Random Data Projectors

Yi Sui, Tongzi Wu외 6명|arXiv (Cornell University)|2023. 10. 11.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

이 논문은 데이터 증강이나 마스킹에 의존하지 않고 무작위 데이터 투영을 복원하도록 훈련하는 모odal리티에 관계없는(self-supervised) 표현 학습 방법인 Learning from Randomness(LFR)를 제안한다. 이 방법은 다양한 모달리티—시각, 표준형, 시계열 데이터—에서 최신 기술 수준의 성능을 달성하며, 도메인 특화된 증강 설계나 전용 아키텍처가 필요로 하지 않는다.

ABSTRACT

Self-supervised representation learning~(SSRL) has advanced considerably by exploiting the transformation invariance assumption under artificially designed data augmentations. While augmentation-based SSRL algorithms push the boundaries of performance in computer vision and natural language processing, they are often not directly applicable to other data modalities, and can conflict with application-specific data augmentation constraints. This paper presents an SSRL approach that can be applied to any data modality and network architecture because it does not rely on augmentations or masking. Specifically, we show that high-quality data representations can be learned by reconstructing random data projections. We evaluate the proposed approach on a wide range of representation learning tasks that span diverse modalities and real-world applications. We show that it outperforms multiple state-of-the-art SSRL baselines. Due to its wide applicability and strong empirical results, we argue that learning from randomness is a fruitful research direction worthy of attention and further study.

연구 동기 및 목표

• 비시각적 또는 비NLP 도메인에서 적절한 데이터 증강을 정의하기 어려운 상황에서 증강 기반 자기지도 표현 학습(SSRL)의 한계를 해결하기 위해.
• 히스토패스로지 이미지나 입자 물리학 표준형 데이터와 같이 민감한 데이터에 표준 증강을 적용할 경우 비현실적이거나 물리적으로 부적절한 데이터 예제가 생성될 수 있는 위험을 줄이기 위해.
• 특정 아키텍처 제약이나 도메인 특화된 증강 파ip라인 없이도 어떤 데이터 모달리티나 신경망 아키텍처에도 적용 가능한 일반적인 SSRL 프레임워크를 개발하기 위해.
• 무작위 투영에서 학습하는 것이 최신 기술 수준의 대비 및 마스킹된 오토인코더 방법과 비교해도 우수하거나 그에 준하는 고품질의 표현을 도출할 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 무작위로 생성된 투영 함수 집합 $ G = \{g^{(k)}(\mathbf{x})\} $ 에 대해, 학습된 표현 $ \mathbf{z} $ 에서 이러한 함수의 출력을 예측할 수 있도록 신경망 인코더를 훈련시킨다.
• 각 무작위 투영기 $ g^{(k)} $ 는 고정된 무작위 가중치를 가진 작은 신경망으로 구현되며, 입력 데이터 $ \mathbf{x} $ 에 적용되어 스칼라 또는 벡터 출력을 생성한다.
• 예측 출력 $ h^{(k)}(\mathbf{z}) $ 와 진짜 무작위 투영 결과 $ g^{(k)}(\mathbf{x}) $ 간의 차이를 최소화하는 복원 손실을 사용하여 모델을 훈련하며, 다중 헤드 예측 헤드를 활용한다.
• 훈련 과정은 인코더 $ f_{\theta} $ 와 예측기 $ H_{\Phi} $ 를 번갈아 업데이트하며, 예측기를 인코더 업데이트마다 여러 에포크 동안 훈련시켜 안정성과 성능을 향상시킨다.
• 이 방법은 아키텍처에 관계없으며 트랜스포머나 특정 백본 설계가 필요로 하지 않아 표준 컨볼루션 또는 완전 연결 네트워크와도 사용 가능하다.
• 은행수 $ K $, 배치 크기, 잠재 차원 등의 하이퍼파ram터는 경험적으로 조정되었으며, 벤치마크 작업에서 $ K=6 $, 배치 크기 256, 잠재 차원 2048가 최적 성능을 내는 것으로 확인되었다.

Figure 1: Top: H&E stained histopathology images have a characteristic appearance with blue tones indicating cell nuclei, while cytoplasm is stained pink (Chan, 2014 ) . Bottom: Color jitter with the standard settings of (Chen & He, 2021 ) produces unrealistic augmentations with altered meanings. Ch

실험 결과

연구 질문

• RQ1 특정 데이터 모달리티에서 이러한 방법이 적용되지 않거나 해로울 수 있는 상황에서, 데이터 증강이나 마스킹에 의존하지 않고 고품질의 자기지도 표현을 학습할 수 있는가?
• RQ2 다양한 데이터 모달리티에서 제안된 LFR 방법의 성능가 최신 기술 수준의 대비 및 마스킹된 오토인코더 기반 방법과 비교해 볼 때 어떻게 되는가?
• RQ3 무작위 투영기 수, 배치 크기, 예측기 훈련 스케줄과 같은 핵심 하이퍼파ram터가 학습된 표현의 품질에 어떤 영향을 미치는가?
• RQ4 의료 영상이나 물리 시뮬레이션 데이터와 같이 엄격한 데이터 제약 조건이 존재하는 실세계 응용에 효과적으로 일반화되는가?
• RQ5 무작위 투영이 자기지도 표현 학습에서 히وري스틱 전경 작업의 타당하고 강력한 대안이 될 수 있는가?

주요 결과

• LFR 방법은 시각, 표준형, 시계열 데이터를 포함한 다양한 데이터 모달리티에서 여러 최신 기술 수준의 SSRL 기반 방법을 초월하여 강력한 일반화 능력을 보였다.
• 히스토패스로지 이미지 분류를 위한 Kvasir 데이터셋에서, 6개의 무작위 투영기를 사용하여 선형 평가 정확도 94.8%를 달성했으며, 도메인 특화 증강 없이도 뛰어난 성능을 보였다.
• 최적의 무작위 투영기 수는 6으로 확인되었으며, 이를 초과하면 특징의 중복성과 기울기 편향으로 인해 성능 저하가 발생했다.
• 배치 크기는 성능에 거의 영향을 주지 않았으며, 64에서 512 사이에서 안정적인 결과를 보였지만, 256에서 가장 높은 정확도를 기록하여 배치 크기 변화에 대한 강건성을 입증했다.
• 잠재 차원을 늘일수록 2048까지 성능 향상이 있었고, 이후에는 성능 향상이 거의 없어 표현 용량의 포화점에 도달한 것으로 나타났다.
• 인코더 업데이트마다 여러 에포크 동안 예측기를 훈련하는 교차 훈련 방식이 공동 훈련보다 성능 향상을 이끌어내어, 잘 최적화된 예측기가 표현 품질 향상에 기여한다는 것을 시사했다.

Figure 2: Our proposed architecture for learning from randomness. An input $\mathbf{x}$ is encoded by $f_{\theta}$ into a useful representation $\mathbf{z}$ , while also being fed to random projection functions $g^{(k)}$ . Simple, learnable predictor functions $h^{(k)}_{\phi}$ try to match the outpu