[논문 리뷰] Conditional Contrastive Learning: Removing Undesirable Information in Self-Supervised Representations.

Yao-Hung Hubert Tsai, Quintín Martín Martín외 4명|arXiv (Cornell University)|2021. 06. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 51인용 수 5

한 줄 요약

이 논문은 자기지도 학습 표현에 포함된 바람직하지 않은 정보—성별 또는 도메인 특화 편향과 같은 것—을 제거하기 위해 대조 학습 중에 바람직하지 않은 변수를 조건으로 삼는 조건부 대비 학습(CCL)을 제안한다. 조건부 InfoNCE(C-InfoNCE)와 그 효율적인 변종인 WeaC-InfoNCE를 사용하여, 과제에 관련된 특징과 바람직하지 않은 특성 간의 분리가 이루어지는 표현을 학습하며, 민감하거나 관련이 없는 변수에 대한 의존도를 최소화하면서도 후행 과제에서 뛰어난 성능을 달성한다.

ABSTRACT

Self-supervised learning is a form of unsupervised learning that leverages rich information in data to learn representations. However, data sometimes contains certain information that may be undesirable for downstream tasks. For instance, gender information may lead to biased decisions on many gender-irrelevant tasks. In this paper, we develop conditional contrastive learning to remove undesirable information in self-supervised representations. To remove the effect of the undesirable variable, our proposed approach conditions on the undesirable variable (i.e., by fixing the variations of it) during the contrastive learning process. In particular, inspired by the contrastive objective InfoNCE, we introduce Conditional InfoNCE (C-InfoNCE), and its computationally efficient variant, Weak-Conditional InfoNCE (WeaC-InfoNCE), for conditional contrastive learning. We demonstrate empirically that our methods can successfully learn self-supervised representations for downstream tasks while removing a great level of information related to the undesirable variables. We study three scenarios, each with a different type of undesirable variables: task-irrelevant meta-information for self-supervised speech representation learning, sensitive attributes for fair representation learning, and domain specification for multi-domain visual representation learning.

연구 동기 및 목표

• 자기지도 학습 표현에 포함된 바람직하지 않은 정보—성별, 메타 속성, 또는 도메인 레이블 등—이 인코딩되는 문제를 다루기 위해.
• 바람직하지 않은 변수에 대한 레이블이 필요 없이도 표현 학습 과정에서 이러한 정보를 능동적으로 제거하는 방법을 개발하기 위해.
• 자기지도 모델이 과제에 관련된 특징을 학습하면서도 민감하거나 과제와 관련이 없는 속성들을 분리할 수 있도록 하기 위해.
• 음성, 공정성, 다중 도메인 시각 영역 등 다양한 시나리오에서 방법을 평가하기 위해.

제안 방법

• 바람직하지 않은 변수를 양성 샘플 대비 과정에서 조건으로 삼는 조건부 InfoNCE(C-InfoNCE)를 제안한다.
• C-InfoNCE의 계산 비용을 줄인 효율적인 변종인 WeaC-InfoNCE를 도입한다.
• 대조 학습 과정에서 바람직하지 않은 변수의 값을 고정함으로써 그 영향을 효과적으로 제거한다.
• InfoNCE 목표함수를 기반으로 하되, 조건부 처리를 통해 바람직하지 않은 변수에 대한 불변성을 강제로 구현한다.
• 자기지도 음성 표현 학습, 공정한 표현 학습, 다중 도메인 시각 표현 학습의 세 가지 다른 설정에 방법을 적용한다.
• 표준적인 데이터 증강 기법과 대조 학습 프레임워크를 사용하며, 핵심적인 수정 사항은 바람직하지 않은 변수에 대한 조건부 처리 메커니즘이다.

실험 결과

연구 질문

• RQ1 조건부 대비 학습은 자기지도 음성 표현에서 과제와 관련이 없는 메타 정보를 효과적으로 제거할 수 있는가?
• RQ2 공정한 표현 학습에서 이 방법은 성별과 같은 민감한 속성에 대한 의존도를 어느 정도 줄일 수 있는가?
• RQ3 다양한 종류의 바람직하지 않은 변수—다중 도메인 시각에서의 도메인 레이블 등—에 대해 이 방법은 얼마나 잘 일반화되는가?
• RQ4 제안된 C-InfoNCE 및 WeaC-InfoNCE 목표함수는 바람직하지 않은 정보를 최소화하면서도 후행 과제 성능을 유지하는가?
• RQ5 바람직하지 않은 변수에 대한 명시적 애너테이션 없이도 조건부 처리 메커니즘이 표현의 분리에 효과적인가?

주요 결과

• 제안된 CCL 방법은 평가된 모든 시나리오에서 성별 및 도메인 레이블과 같은 바람직하지 않은 변수의 영향을 효과적으로 줄였다.
• WeaC-InfoNCE는 계산 비용을 크게 줄였음에도 불구하고 C-InfoNCE와 유사한 성능을 달성하여 대규모 응용에 실용적이다.
• 음성 표현 학습에서는 과제에 관련된 콘텐츠를 유지하면서도 메타 정보를 제거하여, 성별에 영향을 받지 않는 과제에서의 후행 정확도를 향상시켰다.
• 공정한 표현 학습에서는 명시적인 공정성 제약 없이도 후행 예측에서 편향이 감소하는 것을 보였다.
• 다중 도메인 시각 학습에서는 도메인 불변 특징을 학습하여, 알려지지 않은 도메인으로의 제로샷 일반화 성능을 향상시켰다.