[논문 리뷰] Self-supervised Representation Learning with Relative Predictive Coding

Yao-Hung Hubert Tsai, Quintín Martín Martín외 4명|arXiv (Cornell University)|2021. 03. 21.

Speech and Audio Processing참고 문헌 58인용 수 4

한 줄 요약

이 논문은 상대적 매개변수를 도입하여 손실를 정규화하고 로그 및 지수 항을 제거함으로써 학습 안정성을 향상시키고 미니배치 크기 민감도를 감소시키며, 최종 성능을 향상시키는 새로운 대비 표현 학습 목표인 상대적 예측 코드화(RPC)를 제안한다. 이로 인해 수치적 불안정성을 유발하는 요소가 제거되며, 시각 및 음성 벤치마크에서 최고 수준의 성능을 달성하며 변동성이 낮고 다양한 데이터셋에서 일관된 성과 향상을 보인다.

ABSTRACT

This paper introduces Relative Predictive Coding (RPC), a new contrastive representation learning objective that maintains a good balance among training stability, minibatch size sensitivity, and downstream task performance. The key to the success of RPC is two-fold. First, RPC introduces the relative parameters to regularize the objective for boundedness and low variance. Second, RPC contains no logarithm and exponential score functions, which are the main cause of training instability in prior contrastive objectives. We empirically verify the effectiveness of RPC on benchmark vision and speech self-supervised learning tasks. Lastly, we relate RPC with mutual information (MI) estimation, showing RPC can be used to estimate MI with low variance.

연구 동기 및 목표

• 대비 자기지도 학습에서 발생하는 학습 불안정성, 특히 손실 함수의 높은 변동성으로 인한 문제를 해결하기 위해.
• 큰 배치가 필요로 하는 대비 방법의 실용적 구현을 제한하는 미니배치 크기 민감도를 감소시키기 위해.
• 학습 안정성과 강건성을 유지하면서 최종 작업 성능을 향상시키기 위해.
• 로그 및 지수 연산이 수치적 불안정성의 원인이 되는 것으로 알려진 바가 있으므로, 이러한 연산을 피하는 대비 목표를 개발하기 위해.
• RPC와 낮은 변동성을 가지는 상호정보 추정 간의 연결 고리를 설정하기 위해.

제안 방법

• RPC는 대비 손실를 정규화하기 위해 상대적 매개변수(α, β, γ)를 도입하여 유한성과 변동성 감소를 보장한다.
• 손실 함수에서 로그 및 지수 항을 제거하고 이차 및 선형 항으로 대체하여 수치적 안정성을 향상시킨다.
• 핵심 손실는 다음과 같이 정의된다: J_RPC = -[f_k(h_{t+k}, c_t) - (α/|N|)Σf_k(h_i, c_t) - (β/2)f_k²(h_{t+k}, c_t) - (γ/(2|N|))Σf_k²(h_i, c_t)], 여기서 h는 표현이고 c는 컨텍스트이다.
• 상대적 매개변수는 ℓ₂ 정규화 역할을 하여 최적화 경계를 안정화시키고 극단적인 값을 방지한다.
• 시각 작업에는 온도 τ=16, 음성 작업에는 온도 τ=16를 사용하며, 원시 손실 동역학을 유지하기 위해 히든 정규화를 적용하지 않는다.
• RPC는 ResNet-18 및 이전 작업의 모델을 사용하여 CIFAR-10/100, STL-10, ImageNet 및 LibriSpeech에서 실험적으로 검증되었다.

실험 결과

연구 질문

• RQ1 대비 학습 목표가 높은 최종 성능를 유지하면서도 학습 안정성을 확보할 수 있는가?
• RQ2 손실 함수에서 로그 및 지수 항을 제거하면 학습 변동성이 감소하고 안정성이 향상되는가?
• RQ3 기존의 대비 목표와 비교해 볼 때 제안된 방법은 미니배치 크기 민감도가 얼마나 적은가?
• RQ4 RPC는 낮은 변동성으로 상호정보를 추정하는 데 사용될 수 있는가?
• RQ5 안정적이고 정확한 MI 추정을 위해 상대적 매개변수(α, β, γ)의 최적 설정은 무엇인가?

주요 결과

• RPC는 DV, NWJ 및 CPC보다 낮은 학습 변동성을 보이며, 특히 히든 정규화를 적용하지 않은 경우에 이는 안정성 향상을 시사한다.
• RPC는 미니배치 크기 민감도가 낮아 작은 배치 크기에서도 강력한 성능 유지를 유지하는 반면, CPC는 큰 배치가 필요로 한다.
• CIFAR-10에서 RPC는 ResNet-18을 사용해 93.8%의 top-1 정확도를 달성하여 CPC를 능가하고, 완전히 지도 학습 성능에 가까워진다.
• ImageNet에서 RPC는 선형 평가에서 76.5%의 top-1 정확도를 기록하여 강력한 전이 가능성(transferability)을 보였다.
• β ≈ 10⁻³ 및 γ ≈ 1.0일 때 RPC는 낮은 편향과 변동성으로 상호정보를 추정하며, 저상호정보 영역에서 DoE를 능가한다.
• 20차원 상관관계가 있는 가우시안 분포에서의 상호정보 추정에서, β=10⁻³ 및 γ=1.0로 설정한 RPC는 안정적이고 정확한 추정을 제공하지만, DoE는 상호정보가 작을 경우 불안정해진다.